登录
首页 > 奥迪汽车 > 马斯克AI大模型Grok开源,体量3140亿参数号称“全球最大”

马斯克AI大模型Grok开源,体量3140亿参数号称“全球最大”

发布时间:2024-03-19 11:57:35 发布用户: 15210273549

北京时间3月18日,马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家(MoE)模型Grok-1,以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。

 

Grok-1的模型细节包括:基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调;3140亿参数的MoE模型,在给定token上的激活权重为25%;2023年10月,xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。
这个时候,马斯克也不忘忘了嘲讽OpenAI一番,其在X平台上发文称:“我们想了解更多OpenAI的开放部分”。

奥迪汽车更多>>

“非物质文化遗产丛书”推出90余种,传承人现场展示拉纤号 四川渠县创新文旅产业打造“忘忧”IP,要做成渝经济圈明珠 莫迪去了G7,却不参加上合会议,印度已渐行渐远?有新成员要加入 沃尔沃汽车525车主节狂欢:线下门店AED设备全面到位 首搭第五代DM技术 比亚迪秦L DM-i上市 售价9.98万-13.98万元 5.4米+双电机,魏派高山行政加长版实拍,第三排座椅也带腿托 保时捷4S店造反?销量下跌,库存爆炸,豪车也扛不住! 又又又爆单了!奇瑞新能源团购斩获订单706台!六站联动,乐购一夏! Jeep Avenger 4xe版谍照 将于2024下半年发布 吉利银河混动首年销量超12万 购车至高可降25000元 小米SU7开启OTA更新 智能座舱升级/首发端到端代客泊车功能 10万级混动SUV的新选择,荣威D5X DHM凭什么? 年轻就要勇敢一次!第二代UNI-V智电iDD挑战东方阿尔卑斯魔鬼山路 资讯|第二代UNI-V智电iDD挑战东方阿尔卑斯魔鬼山路游刃有余 北京汽车BJ30售9.99万起,混动四驱也仅为13.69万 主、被动安全皆领先,星途揽月成家用SUV安全“最优解” 东风奕派008有望在6月正式上市 吉利银河E5最低电耗11.9kWh/100km 不堆电池拼整体能耗 奥迪为 900 万挚友助“利”梦想 再添置换补贴限时至高42,000 元 可能不做四驱,问界M8将比问界M9便宜5万? 预计下半年上市,吉利银河E5最新信息曝光,提供两种续航可选 外观内饰脱胎换骨 雪佛兰探界者EV能从国外火到国内? 增配价更低!售11.57万元起,吉利新博越L正式上市 1-4月中型SUV销量榜单 仅一款过十万 德系表现很抢眼 20多万的增程式家用SUV,星纪元ET和理想L6谁更值得买? 领克07 EM-P限时领享价16.38万起,20万内最强电混轿车价值标杆! 普利策奖得主迪亚斯携《信任》来华,与毕飞宇共探虚构的力量 从设计源头减少“公摊”,增加的不只是得房率 讲价格更讲价值,红旗以品质技术造“人民的好车” 高位促销之下,4月乘用车仍遭“滑铁卢”
Copyright 2015-2024 二手车测评网 版权所有  京ICP备18049689号-25 客服QQ:318697669