本地化部署自建类ChatGPT服务

系统环境

Windows 10

Python 3.11.4

1. 安装Text generation web UI

在github界面下载压缩包，这里以windows系统为例：

https://github.com/oobabooga/text-generation-webui

使用windows系统，我们下载windows压缩包：

下载后，这里注意：存放目录的路径不能有空格，然后点击start_windows.bat启动安装。

在安装过程中会提示选择显卡类型，根据电脑配置正常选择即可，然后等待下载，下载大小2个GB左右大小资源。

2.安装依赖

上面安装后会出现两个文件夹，可以看到其中一个是text-generation-webui 名称文件夹，我们点击cmd_windows.bat打开cmd命令行。

打开后，进入text-generation-webui文件夹：

cd text-generation-webui

执行下载依赖命令，注意！！！这里需要kx上网，否则下载依赖会发生错误，包括后面也一直需要保持kx上网哦！！！

pip install -r requirements.txt

执行后等待下载完成即可

3. 安装语言模型

同意点击cmd_windows.bat打开cmd命令行，进入

输入命令进入text-generation-webui文件夹

cd text-generation-webui

安装facebook语言模型，其他语言模型可以查看GitHub文档上面找到：

python download-model.py facebook/opt-1.3b

输入后等待下载安装完成即可，为了防止出现下载失败，建议开启kx上网！

4. 启动

点击start_windows.bat启动

启动后，可以看到访问的地址和端口，端口是:7860

在浏览器输入上述URL，即可看到web ui 界面：

设置一下语言模型，点击Model，在下拉框可以看到我们上面下载安装的facebook模型，选择后点击Load，然后保存设置。

然后输入即可对话，这样就搭建好了，可玩度很高，且可以扩展其他语言模型！