ollama语言模型部署工具

发表于

原先为了玩模型，部署有些复杂，今天刷到一个ollama工具，确实好用简单，简化LLM的部署和运行

安装步骤参考文档

模型下载地址

简单请求代码案例（上下文联动）

这里举例了普通http请求，其他还有python库，JavaScript

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import requests

model = 'llamafamily/llama3-chinese-8b-instruct'

messages = [
    {
        "role": "user",
        "content": "天空为什么是蓝色的？"
    },
    {
        "role": "assistant",
        "content": "这是一个常见的自然科学问题。我们知道，地球大气层中存在大量微小颗粒物质（如尘埃、水蒸气和其他气体），它们散射出阳光的所有颜色，而蓝色的波长被称为短波长，它能穿透大气并到达观察者的眼睛。因此，当我们从地面仰望天空时，看到的是大多数阳光的蓝色部分，因为这部分能够穿透地球的大气层，达到我们的眼睛。此外，大气中的微小颗粒物质也会散射出更多的白色和灰色波长，这些颜色的波长较长，所以它们在我们看不到时被大气层吸收了。因此，当我们看到蓝色的天空时，它是因为地球的大气层对蓝光更加透明，而其他颜色的波长则被大气层吸收或反射掉了。"
    },
    {
        "role": "user",
        "content": "是否有其他解释？"
    }
]

r = requests.post(
    "http://XXXXXXXX:11434/api/chat",
    json={"model": model, "messages": messages, "stream": True},
)
print(r.text)

LLM常用的api

  1. POST /api/generate 生成文本，通常用于批量生成文本数据，可以根据特定的输入和条件生成一组文本
  2. POST /api/chat 通常用于模拟对话，提供了更简单的用户交互方式，内部调用了/generate接口
赏个🍗吧
0%