首页 > 今日汽车 > 今日汽车 > 微软亚研院多项创新技术,弥合大模型低比特量化与终端部署间鸿沟

微软亚研院多项创新技术,弥合大模型低比特量化与终端部署间鸿沟

发布时间:2024-08-21 22:59:04来源: 13041198719

在人工智能领域,模型参数的增多往往意味着性能的提升。但随着模型规模的扩大,其对终端设备的算力与内存需求也日益增加。低比特量化技术,由于可以大幅降低存储和计算成本并提升推理效率,已成为实现大模型在资源受限设备上高效运行的关键技术之一。然而,如果硬件设备不支持低比特量化后的数据模式,那么低比特量化的优势将无法发挥。

为了解决这一问题,微软亚洲研究院推出了全新的数据编译器 Ladder 和算法 T-MAC,使当前只支持对称精度计算的硬件能够直接运行混合精度矩阵乘法。测试结果表明,Ladder 在支持 GPU 原本不支持的自定义数据类型方面,最高提速可达14.6倍;T-MAC 在搭载了最新高通 Snapdragon X Elite 芯片组的 Surface AI PC 上,使 CPU 上运行的大模型吞吐率比专用加速器 NPU 快两倍。此外,研究员们还设计了 LUT Tensor Core 硬件架构,这种精简设计使硬件能够直接支持各种低比特混合精度计算,为人工智能硬件设计提供了新思路。

 

大模型已经越来越多地被部署在智能手机、笔记本电脑、机器人等端侧设备上,以提供先进的智能及实时响应服务。但包含上亿参数的大模型对终端设备的内存和计算能力提出了极高的要求,也因此限制了它们的广泛应用。低比特量化技术因其能显著压缩模型规模,降低对计算资源的需求,成为了大模型在端侧部署和实现高效推理的有效手段。

 

随着低比特量化技术的发展,数据类型日益多样化,如 int4、int2、int1 等低比特数据,使得大模型在推理中越来越多地采用低比特权重和高比特权重计算的混合精度矩阵乘法(mixed-precision matrix multiplication,mpGEMM)。然而,现有的 CPU、GPU 等硬件计算单元通常只支持对称计算模式,并不兼容这种混合精度的矩阵乘法。

 

混合精度矩阵乘法与传统的矩阵乘法有何不同?

 

在传统的矩阵乘法中,参与运算的两端数值是对称的,例如 FP16*FP16、int8*int8。但大模型的低比特量化打破了这种对称性,使乘法的一端是高比特,另一端是低比特,例如在 1-bit 的 BitNet 模型中实现的 int8*int1 或 int8*int2,以及浮点数与整数的混合乘法 FP16*int4。

 

为了充分发挥低比特量化的优势,让硬件设备能够直接支持混合精度矩阵乘法,确保大模型在端侧设备上的高速有效运行,微软亚洲研究院的研究员们针对现有 CPU、GPU 计算算子和硬件架构进行创新:

 

  • 推出了数据类型编译器 Ladder,支持各种低精度数据类型的表达和相互转换,将硬件不支持的数据类型无损转换为硬件支持的数据类型指令,在传统计算模式下,使得硬件能够支持混合精度的 DNN(深度神经网络)计算;
  • 研发了全新算法 T-MAC,基于查找表(Lookup Table,LUT)的方法,实现了硬件对混合精度矩阵乘法的直接支持,软件层面,在 CPU 上的计算相比传统计算模式取得了更好的加速;
  • 提出了新的硬件架构 LUT Tensor Core,为下一代人工智能硬件设计打开了新思路。

 

今日汽车更多>>

比亚迪力压美系排名第五,2024年全球车企销量排行榜前十出炉 出乎意料!雷克萨斯敲定国产,但只生产纯电动 1月售3万余台,重夺“销冠”宝座,小鹏终于逆袭了 1月新能源销量:小鹏跃3万,小米超2万,都是什么含金量? SL-FILTER盛联滤清器:带您揭开机油滤清器测评迷雾! 2024全球车企销量排行榜:比亚迪名列第五 224323台,同比增长10.3%,奇瑞集团2025年1月销量出炉 阿维塔1月售8826台,同比上涨25%,环比有所下滑 多家车企发布1月销量 小鹏突破3万大关 理想汽车微微下滑 三款高端国产轿车来袭 尊界S800、仰望U7领衔 2025年刚过,本田就召回136.7万辆!快看你的车中招了吗! 全世界64%的纯电动车,被中国人买走了! 通用汽车2024年第四季度亏损29亿美元!受中国业务重组影响! 现代昂希诺,中国没人买,但全球销售200万辆! 2024年泰国汽车生产减少20%,回到疫情前的水平! 保时捷Taycan 有4个吉尼斯世界记录,你知道是什么吗? 20万纯电家轿怎么选,新款极氪007还是小米SU7 新赛道来了!从CES看汽车行业的数智化转型与未来趋势 BBA三巨头24年战报公布,谁是英雄or谁被打击? Rivian新专利申请:加热透镜以去除车灯沉积物 雷诺集团2024年销量同比增长1.3% 吉利汽车埃及工厂投产,未来年产能达近3万台 延锋胡斐:出海迈入新阶段,物流规划助力海外运营 海力达张悦:打造深度本地化的全球企业在供应链端的实践与思考 兰博基尼 再破纪录 2024年销售创历史新高! ​第10000辆交付!长超5米1,拥有百万实力仅售33万多,BBA不香了 零跑成为第二家盈利的新势力,耐世特常熟基地开业 “两新”补贴细则出炉 今年车市将迎2300万辆增量空间 2025武汉国际新能源汽车工业展,引领绿色出行新风尚 2025汽车购新补贴政策在即,是时候迎接新车变革了吗?