PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍
PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍这两天,FlashAttention团队推出了新作: 一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。 该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证
搜索
这两天,FlashAttention团队推出了新作: 一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。 该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证
中国科学院国家天文台银河系三维结构团组最近在wisemodel.cn社区开源的星语StarWhisper天文大模型,在甲骨易AI研究院与LanguageX AI Lab联合发布的CG-Eval上达到总排名第二,仅低于GPT-4。
在自己的系统上部署大型语言模型可能会出人意料地简单 - 前提是你拥有正确的工具。以下是如何在桌面上使用像Meta的新Code Llama这样的LLM的方法。
上海AI实验室与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语大模型(InternLM)200亿参数版本InternLM-20B,并在阿里云魔搭社区(ModelScope)开源首发。
9 月 5 日,阿里云牵头建设的 AI 模型社区魔搭(ModelScope)又上新了,推出适配开源大语言模型的 AI Agent 开发框架 ModelScope-Agent。
北京硅心科技有限公司(aiXcoder,以下简称“硅心科技”)已完成数千万元A+轮融资,由彬复资本领投,清流资本、三七互娱跟投。本轮融资将主要用于技术研发、市场拓展,以及团队扩充。 硅心科技成立于2018年,聚焦AIGC for Code领域,团队自2013年起就开始探索深度学习技术在代码生成和代码理解方面的应用。
Meta推出了专门为编码任务设计的大型语言模型 Code Llama。Code Llama(羊驼)是建立在之前发布的 Llama 2 模型的基础上,并且已经对超过 5000 亿个代码和代码相关数据标记上进行了训练。