为什么要在本地跑大模型? 上个月把家里吃灰的零刻SER5 Mini PC翻出来装了个Ubuntu,本来就想当个下载机用。结果GitHub上刷到jamesob/local-llm这个项目快1000星了,突然来了兴致——要不试试本地跑个大模型? 说白了就是不想每次都调API,贵不说,隐私数据总归不放心。本地跑的好处很明显:离线可用、零延迟、数据不出家门。 硬件配置和选型 我这台SER5是AMD Ryzen 5 5560U + 32GB内存,核显是Vega 7。内存是关键——7B模型至少要16GB,13B模型建议32GB…