未来已来,大模型依据压缩模型的方式,可以在普通的PC上运行.
LLaMA
Facebook的LLaMA模型和GeorgiGerganov的llama.cpp的结合。LLaMA，这是一组包含7B到65B参数的基础语言模型。我们在数万亿个令牌上训练我们的模型，并表明可以仅使用公开可用的数据集来训练最先进的模型，而无需诉诸专有和不可访问的数据集。特别是，LLaMA-13B在大多数基准测试中都优于GPT-3(B)，而LLaMA-65B可与最佳模型Chinchilla-70B和PaLM-B竞争。我们将所有模型发布给研究社区。
论文
4位量化是一种减小模型大小的技术，因此它们可以在功能较弱的硬件上运行。它还减少了磁盘上的模型大小——7B模型减少到4GB，13B模型减少到不到8GB。它完全有效！今晚我用它在我的笔记本电脑上运行7BLLaMA模型，然后今天早上升级到13B模型——Facebook声称可以与GPT-3竞争的模型。
论文