栏目导航
联系我们

国产大模型ChatGLM3发布:用华为芯片推理速度提升超3倍多能力对标GPT-4V

发表时间: 2023-11-22 作者: 贝博平台网页登录

  10月27日下午举行的中国计算机大会(CNCC2023)一场论坛上,阿里、腾讯投资的人工智能(AI)独角兽公司智谱 AI 正式对外发布全新自研的第三代基座大模型ChatGLM3系列。

  新的ChatGLM3包括ChatGLM3-1.5B(15亿)、3B和6B参数三种,不仅在多模态理解、代码模块、网络搜索等能力上有所提升,而且相对最佳开源模型推理速度提升2-3倍。同时,基于集成自研AgentTuning技术,在智能规划和执行上比ChatGLM-2提升1000%。另外,ChatGLM3还利用华为昇腾生态,使算力推理速度提升3倍以上。

  智谱 AI CEO张鹏表示,最新的自研模型ChatGLM3就是瞄准GPT-4V(多模态版的GPT-4)的跨模态能力,是ChatGLM新新一代的技术升级。

  “对标OpenAI是智谱 AI 成立以来的目标。智谱 AI 致力于让机器像人一样思考,我们大家都希望利用ChatGLM3通用基座模型能力,与合作伙伴一起共同的支撑千行百业,进入生成式 AI‘第二阶段’。”张鹏称。

  据悉,智谱 AI 成立于2019年,脱胎于清华大学计算机系知识工程研究室团队,是清华大学知识成果转化的勇于探索商业模式的公司,瞄准 AI 大模型研发落地,公司CEO张鹏毕业于清华计算机系,总裁王绍兰为清华创新领军博士,清华大学计算系教授唐杰也参与研发中国最大规模预训练模型悟道2.0。

  2020年,智谱AI 开始GLM预训练架构的研发,并训练了100亿参数模型GLM-10B;2021年利用MoE架构成功训练出万亿稀疏模型;2022年公布1300亿级超大规模预训练通用模型GLM-130B,并以此打造大模型平台及产品矩阵。

  2023年,智谱AI 推出千亿基座的对话模型ChatGLM,并开源单卡版模型ChatGLM-6B等,部署于个人开发者和企业应用领域。今年6月,智谱AI 迭代出ChatGLM2,包括6B、130B、12B(120亿参数)、32B、66B等参数的模型,推理速度增长42%。据张鹏透露,相比GPT-4版的ChatGPT,ChatGLM2-12B、32B和66B性能分别提升16%、36%和280%。

  当前,智谱 AI 开源模型在全球下载量已超过1000万次。同时,该公司也进行商业化探索,打造AIGC(生成式 AI)模型及产品矩阵,包括已获批上线的智谱清言、高效率代码模型CodeGeeX等。

  融资方面,创立至今的四年多,智谱AI 共完成四轮融资。10月20日,智谱 AI 宣布年内累计融资额超过25亿元人民币,投资方包括社保基金中关村自主创新基金(君联资本为基金管理人)、美团、蚂蚁、阿里、腾讯、小米、金山、顺为、Boss直聘、好未来、红杉、高瓴等多家机构,而君联资本等部分老股东跟投,华兴资本担任独家财务顾问。

  截至目前,智谱 AI 公司估值已超过100亿元,是国内 AI 领域独角兽企业。公司称,上述融资将用于基座大模型的进一步研发,更好地支撑行业生态。

  此次,智谱 AI 发布的最新ChatGLM3通用基座大模型,在性能、推理、算力、Agent智能体能力、API商业化等方面均有提升。

  其中,性能方面,ChatGLM3-6B在44个中英文公开数据集测试中国内同尺寸模型排名首位,相比ChatGLM2-6B,多个排名提升33%以上,GSM8K基准提升179%;推理方面,相较于目前伯克利大学开源的vLLM,速度提升2-3倍,推理成本降低一倍。

  同时,新的模型还集成自研AgentTuning技术,激活模型智能体能力,在智能规划和执行方面比ChatGLM2提升1000%,支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景,最新AgentBench基准测试上ChatGLM3-turbo和GPT-3.5接近;国产算力层面,以昇腾生态为例,ChatGLM3推理速度提升达3倍之多。

  而在模型尺寸上,ChatGLM系列首次增加1.5B、3B这类小参数模型/张鹏称,根本原因是客户的真实需求和算力成本之间的平衡,而且支持国产芯片的边缘侧模型ChatGLM3-1.5B可在笔记本电脑、手机、汽车等场景部署,速度达20 Tokens/s,精度上1.5B和3B模型与ChatGLM2-6B模型性能接近。

  现场演示中,对标ChatGPT、基于ChatGLM3的 AI 聊天机器人平台“智谱清言”,如今不但可以实现表格生成柱状图、折线图,而且还能够得到实时新闻搜索数据、看蔬菜写菜谱以及代码生成函数等能力。

  然而,钛媒体App也发现,在比如“用代码画心形”这类问题上,智谱清言仍存在一定的输出错误等幻觉问题。

  另外,在To B企业端方面,智谱AI 提供的 API 开放平台支持开放模型、专属模型、本地化私有模型部署方案,帮企业去构建自主可控大模型。同时,ChatGLM3 开发平台从三种量级整合为ChatGLM3-turbo,只提供一个标准 API模型方案,整体价格降低50%。

  “这(ChatGLM3模型价格)达到国内最低,甚至在整个世界范围以内大模型 API 售价最低的水平线。”张鹏表示。

  据钛媒体App了解,目前智谱 AI 企业主要销售三类技术产品:数字人SaaS/PaaS方案,科技情报SaaS/PaaS方案,以及包括ChatGLM系列在内的认知大模型PaaS/MaaS平台方案。

  张鹏透露,目前智谱 AI GLM大模型已经应用于政务、金融、能源、制造、医疗等领域,支持华为昇腾、神威超算、海光DCU等10余种国产硬件生态,合作伙伴包括阿里、腾讯云、火山引擎、华为、美团、微软、OPPO、海天瑞声等数十家公司。