可以CPU

在https://github.com/ollama/ollama直接下载安装（有可linux，windows）
安装后打开CMD，按提示运行相应的模型，如
ollama run llama3

以下是70B的，
ollama run llama3:70b
以下是根据llama3微调后的100万上下文模型
ollama run llama3-gradient
还有其它模型，看官网。

按以上命令运行后会自动下载相应的模型，然后就可以直接在命令行窗口和大模型聊天了，
你也可以在huggface上下载其它模型用https://liaoxuefeng.com/blogs/all/2024-05-06-llama3/index.html

只有命令行，如果要UI，网上有开源的，
对开发人员来说，有https://github.com/ollama/ollama-python这个库是python对API接口的包装，可以直接拉来用

Ollama本身也提供了restAPI，可以直接调用

Generate a response

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"Why is the sky blue?"
}'

Chat with a model

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'