人人都能用的起的免费大模型:尝试本地安装和使用Ollama大模型(llama3.3 ,llama3.2)

in HIVE CN 中文社区13 days ago (edited)

周六收到邮件,看到AI大模型Ollama开源了新版本 Llama 3.3 ,不仅有70B,还支持中文版,不禁心里有些痒痒,打算尝试下载使用下。

image.png

我之前安装过Llama 3.2,不过是1B而已,而且貌似当时不支持中文,你让它用中文回答,它却用拼音糊弄你。。。实在尴尬的很,囧囧囧。。。

001.png

老样子,上github上,下载大模型先。

我之前下载Ollama,发现有个问题,就是它默认是安装在C盘符下,而我的C盘可用空间很小,导致下载到中途因为空间不够而问题而中断,

002.png

003.png

于是这次我找了下文档,将默认的路径改到其它盘符下,这样就不担心空间不够了。

如果你也碰到这类问题,就按照我这个方法,设置好变量先,将默认下载路径改为其它盘符,就可以完美解决该问题。

005.png

006.png

007.png
开始下载 llama3.3 了,好激动,好期待。。。

008.png

009.png

结果呢,乐极生悲,提示在验证成功后,出现错误如下:
PS D:\ollama> ollama run llama3.3
pulling manifest
pulling 4824460d29f2... 100% ▕████████████████████████████████████████████████████████▏ 42 GB
pulling 948af2743fc7... 100% ▕████████████████████████████████████████████████████████▏ 1.5 KB
pulling bc371a43ce90... 100% ▕████████████████████████████████████████████████████████▏ 7.6 KB
pulling 53a87df39647... 100% ▕████████████████████████████████████████████████████████▏ 5.6 KB
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████████████████████████▏ 96 B
pulling c7091aa45e9b... 100% ▕████████████████████████████████████████████████████████▏ 562 B
verifying sha256 digest
writing manifest
success
Error: model requires more system memory (40.4 GiB) than is available (18.2 GiB)

大意就是说,我的系统内存空间不够,需要40。.G system memory,而我只剩下18.2G,实际上我电脑上是32G。

010.png

012 - 副本.png
本地暂时体验不了,就通过API接口在vscode下体验下也行
我用的是OpenRouter API

012.png

013.png
在vscode下安装插件,实现AI访问

011.png
还是想用本地llama,毕竟openrouter是要花钱的,本地免费的才香嘛。
没办法,只能退而求次,下载3.2版本试下了。

014.png
本地安装的是Llama 3.2 Vision,也就是7B这个版本。

015.png
试了下,现在也支持中文了

改天把这个本地安装的llama,也集成到vscode下,这样以后在本地使用AI编程,就不用再另外购买付费版本了。:):):)

Sort:  

关键这玩意现在缺显卡啊,没显卡真不好跑。部署最终还是云端部署用起来比较方便

对,主要消耗GPU,用CPU也可以,但卡的一批一批的

现在这类资源都是公开的吧?不过对于我这样的小白来说,也还是不懂,哈哈

都是公开的,可以免费下载。