项目地址：https://github.com/imartinez/privateGPT/tree/main

 

下载并安装所需软件

anaconda

https://www.anaconda.com/download/

anaconda避免Python版本混乱

VS2022

这是为了里面的C++编译器，否则后面会报错

https://c2rsetup.officeapps.live.com/c2r/downloadVS.aspx?sku=community&channel=Release&version=VS2022&source=VSLandingPage&cid=2030:a866cb1891624541a3f9b092d2429dfd

创建虚拟环境

需要用管理员模式启动，否则后续启动了GPT机器人会报错

执行下面命令创建虚拟环境并按照python 3.11.0

 

conda create -n gpt python==3.11.0

进入虚拟环境

conda activate gpt

并且python环境也没问题

exit() 退出python 回到gpt虚拟环境下

下载并解压压缩包。

配置环境

进入项目路径，并安装依赖。

pip install poetry

poetry install –with ui,local

有个东西没安装成功，单独复制下命令安装

如果之前没有安装vs2022里的C++编译器就会出现报错信息，安装好C++编译器之后可以重新执行上面的命令，就可以成功安装

下载嵌入和LLM模型

poetry install

poetry run python scripts/setup

下的东西很多如果有失败记得用科学

启动服务

set PGPT_PROFILES=local

python -m private_gpt

 

又报错了 安装下需要的东西

pip install llama-cpp-python

报错修复了我们在执行下。

开始使用

浏览器中打开 http://localhost:8001/

启用GPU

默认使用CPU来运行，速度会很慢，如果你有显卡，可以启动显卡，否则可以跳过这步，直接进行下一步启动服务。

显存需要大于4G，显卡驱动版本需要大于500，并且需要安装cuda

cuda必须在安装完vs2022后再安装，如果之前已经安装重新装一次

安装cuda

显卡驱动就不说了，大家自己会装，我这里就说明下cuda的安装注意事项

https://developer.nvidia.com/cuda-toolkit

进入官网点击Download Now

点击历史版本

下载11.8版本

按照自己的系统选择对应版本

这里必须选自定义

这个vs必须要安装，否则后续会报错

安装完驱动和cuda后执行这条命令查看下

nvidia-smi

需要在anaconda powershell管理员模式中执行

执行下面命令

$env:CMAKE_ARGS=’-DLLAMA_CUBLAS=on’; poetry run pip install –force-reinstall –no-cache-dir llama-cpp-python

启动服务

这次就继续要在powershell模式下执行了

set PGPT_PROFILES=local

python -m private_gpt

 

其他报错

在上传word文件时报了错误

pip install docx2txt