ChatGLM第二弹

为了让更多人体验大模型对话的魅力，建木社区、ChatGLM团队与青田创新赋能中心联手推出了ChatGLM 在线体验
活动。通过此次活动，建木社区深刻认识到大模型对话领域用户的需求十分旺盛。

为了满足这一需求，建木社区构建了ChatGLM-6B附带开箱即用的web_demo镜像，并将其存放在建木镜像仓库中供开发者免费使用。除此之外我们还上传了ChatGLM部署节点到建木节点仓库供ChatGLM的应用开发者编排开发流程，该节点可以为开发者自动化创建一个ChatGLM-6B的web_demo环境。

ChatGLM镜像使用方法

ChatGLM-6B在建木镜像仓库中的下载地址：https://res.jianmuhub.com/image/autoops/chatglm-6b
镜像描述：开箱即用的ChatGLM-6B以及web_demo，包含完整的ChatGLM离线模型
使用方法:

# 1.从建木镜像仓库拉镜像
docker pull docker.jianmuhub.com/autoops/chatglm-6b:latest
# 2.启动容器，
docker run --gpus all -d --runtime=nvidia -e CONC_CNT=10 -e WEB_PORT=3550 -e QUANTIZE_LEVEL=FP16 -p 3550:3550 --name=chatglm-6b docker.jianmuhub.com/autoops/chatglm-6b:latest

更详细的使用教程，请前往建木镜像仓库查看。
使用过程中遇到任务问题，欢迎开issue或者加入建木社区用户群交流。

ChatGLM部署节点使用方法

ChatGLM-6B部署节点在建木hub的地址：https://jianmuhub.com/autoops/chatglm_deploy

节点描述：在指定IP的Linux服务上远程部署ChatGLM-6B模型并启动一个web_demo服务，节点支持web_demo以无量化、4Byte量化和8Byte量化方式加载模型。无量化方式将获得更高精度的回答，但是需要更高的显存。默认以无量化方式运行，如显存不足可以尝试通过节点配置来量化加载模型。
使用方法: 在私有部署的最新版本建木中创建自动化流程时直接编排使用

更详细的使用教程，请前往建木节点仓库查看。
使用过程中遇到任务问题，欢迎开issue或者加入建木社区用户群交流。

最后

本次分享内容介绍到这就结束啦，未来，建木社区将更加努力地推进大模型对话技术的发展，为用户提供更加优质的服务。