AI资讯新闻榜单内容搜索-华为盘古

关键词: AI,Pangu Ultra MoE,模型训练,人工智能

Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型，此前发布了英文技术报告[1]。最近华为盘古团队发布了 Pangu Ultra MoE 模型架构与训练方法的中文技术报告，进一步披露了这个模型的细节。

关键词: Ultra,华为盘古,昇腾,GPU

终于，华为盘古大模型系列上新了，而且是昇腾原生的通用千亿级语言大模型。我们知道，如今各大科技公司纷纷发布百亿、千亿级模型。但这些大部分模型训练主要依赖英伟达的 GPU。

关键词: 盘古大模型,AI大模型,Pangu E,AI,国产大模型

现在，AI 大模型可以真正与物理世界结合了。

关键词: MoE,LocMoE,Mixtral 8×7B,开源模型

2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。

关键词: 盘古-π,华为大模型,LLaMA

华为盘古系列，带来架构层面上新！量子位获悉，华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古-π。