其他
Window本地搭建ChatGLM3-6B
1ChatGLM3介绍
ChatGLM3是基于GLM-130B的对话微调版本，继承了GLM-130B的语言理解和生成能力，并针对对话场景进行了专门的优化。 ChatGLM3可以生成流畅、有趣、有逻辑的对话，并且不会出现重复、跑题、无关等问题。它可以根据用户的输入和历史记录进行动态调整，保持对话的连贯性和一致性。 ChatGLM3具有执行各种工具调用的能力，比如搜索、翻译、计算、绘图等。用户只需要输入简单的指令或问题，就可以得到满意的答案或结果。它还可以根据用户的反馈进行自我纠错和学习，提高工具调用的准确性和效率。 ChatGLM3支持多种语言和多种模式，如中文、英文、日文等。用户可以通过设置选择自己喜欢的语言和模式，如平衡模式、创意模式、精确模式等。不同的模式会影响对话的风格和内容，让用户体验更加丰富和多样。 最新版本的ChatGLM-turbo在AgentBench上已稍微超出GPT-3.5。在算力方面，ChatGLM3已支持多种国产硬件生态，如昇腾、海光DCU等。同时，ChatGLM3提供了更丰富的模型尺寸选项，如1.5B、3B等，以满足不同的边缘侧需求，支持在笔记本电脑、手机、汽车等设备上部署。
2ChatGLM3-6B
强大的对话能力：ChatGLM3-6B 模型在保留了前两代模型对话流畅、部署门槛低等特性的基础上，进一步提升了对话生成的质量和效果。 全新的模型架构：ChatGLM3-6B 引入了一些新的技术和架构，如采用了更多的注意力机制、更好的模型结构等，以提高模型的性能和效果。 开源的双语模型：ChatGLM3-6B 是一个开源的双语模型，可以支持中英双语对话，具有广泛的应用场景和适用人群。 灵活的部署方式：ChatGLM3-6B 支持多种部署方式，包括本地部署、云部署等，方便用户根据自己的需求进行选择和使用。 丰富的应用场景：ChatGLM3-6B 可以广泛应用于智能客服、智能助手、在线教育、语音识别等领域，为用户提供智能化、高效化的服务和支持。总之，ChatGLM3-6B 是一款功能强大、效果优良、部署灵活、应用广泛的开源对话模型，为用户提供了智能化、高效化的对话解决方案。
3本地搭建ChatGLM3-6B
Part1获取ChatGLM3源码
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
Part2conda 创建虚拟环境
conda create -n glm3 python=3.10
Part3激活环境
conda activate glm3
Part4退出环境
conda deactivate
Part5下载依赖包
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
Part6模型下载。
mkdir model && cd model
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/THUDM/chatglm3-6b-int4
git clone https://huggingface.co/THUDM/chatglm3-6b-32k
git clone https://huggingface.co/THUDM/chatglm3-6b-32k-int4
Part7使用ChatGLM3
python.exe D:\BaiduNetdiskDownload\ChatGLM3-6B\ChatGLM3-main\openai_api_demo/openai_api.py
pause
点击下面「公众号：NewTech精选」卡片，进入之后对话框发送关键词：12