AMD发布首个AI小语言模型：6900亿token（amd语言设置）
来源： 最后更新：24-10-03 02:59:17
-
AMD发布了自己的首个小语言模型(SLM)，名为“AMD-135M”。
相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。
AMD-135小模型隶属于Llama家族，有两个版本：
一是基础型“AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。
二是延伸型“AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。
它使用了一种名为“推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。
这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。
AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。
比如在MI250加速器上，性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。
AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。
按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。
免责声明：本文系转载，版权归原作者所有；旨在传递信息，其原创性以及文中陈述文字和内容未经本站证实。
最好听的几首歌古风歌推荐（最好听的几首歌古风歌推荐女生）1、《故人不散》这首歌原创是醉雪和纱朵，纱朵小姐姐的声音真的是
具有历史意义的电视剧（具有历史意义的电视剧排行榜） 天津红桥区有保租房吗 天津红桥区有保租房吗现在 三十而已钟晓芹和陈屿复合了吗（三十而已陈屿钟晓芹离婚片段台词） 2024保运集团医院妇女节健康体检优惠活动一览
热门标签
热门文章
-
11款朗逸是什么银色 11款朗逸银色叫什么银 24-09-30
-
减肥方法七天瘦十斤（减肥方法七天瘦十斤运动视频） 24-09-30
-
12星座适合唱什么歌 12星座适合什么歌曲 24-09-30
-
英文句子唯美励志句子简短关于星河（关于星河的英文短句） 24-09-30
-
本田缤智是什么电瓶 本田缤智原装电瓶是什么型号 24-09-30 -
天籁用什么原厂轮胎（天籁用什么原厂轮胎好） 24-09-30 -
手机怎么怎么找回qq好友（手机如何找回qq好友） 24-09-30
-
微信备用金申请进度 微信备用金申请进度在哪里看 24-09-30
-
表达对老公不离不弃的经典语录句子（表示对老公不离不弃的短句） 24-09-30
-
送女朋友什么礼物女朋友会开心 送女朋友什么礼物她会比较开心 24-09-30
