小块英伟达3090单挑180亿参数大模型，国产开源项目这回杀疯了

据集对CPU和GPU的闪存的用于情况。

单纯来说道，这是道特减法运算：

非数据集建模用于＝两个统计关键时刻之间的系统最大闪存用于 — 建模数据集闪存用于

据信，建模数据集闪存用于可以通过查询监管缓冲器得知。

就其来看就是下面酱婶的：

所有建模数据集标比率交予闪存监管缓冲器监管，每个标比率标上一个状态数据集，包括HOLD、COMPUTE、FREE等。

然后，根据建模查询到的闪存用于情况，随之建模转换标比率状态、调整标比率位置，越来越高效透过GPUSRAM和CPU闪存。

在硬件极其可用的情况，最小化建模MB和有利于专业训练速率。这对于AI普及化、低运输成本微调大建模中下游勤务等，都具有极大意义。

而且MLT-MLT-重要的是——特闪存条对於捡高端主机板一分为二算多了。

前不久，Colossal-AI还顺利复现了苹果公司的最新研究课题PaLM (Pathways Language Model)，表现比方说极其奈斯，而IBMDeepSpeed现过渡阶段还不支持PaLM建模。

Colossal-AI还能继续做什么？

前面也提到，Colossal-AI能挑战的勤务极其多，比如减缓专业训练、节一个省GPU资源。

那么它是如何实在的呢？

单纯来说道，Colossal-AI就是一个导入了多种并行分析方法的的系统，提供的功用包括赫尔并行、大规模须用性缓冲器、渐进勤务调度、消除校验闪存等。

现过渡阶段，基于Colossal-AI的减缓建议书FastFold，能够将RNA结构可不测建模AlphaFold的专业训练一段时间，从缘故的11天，减少到只须67小时。

而且总运输成本越来越低，在窄序列推理勤务中，也能构建9~11.6倍的速率提升。

这一建议书顺利超越苹果公司和哥伦比亚大学的分析方法。

此外，Colossal-AI还能只用一半GPU用于比率专业训练GPT-3。

相比英伟达建议书，Colossal-AI仅有须一半的计算资源，即可启动专业训练；若用于相同计算资源，则能提速11%，可降低GPT-3专业训练运输成本超百万美元。

与此同时，Colossal-AI也极其注重Apache社区建设，提供中文引论、开放服务缓冲器社群年会，根据大家的须求反馈随之越来越新递归。

比如以后有大众留言说道，Colossal-AI要是能在除此以外购物级主机板上跑就好了。

这不，几个月后，已经特意好了~

才是制作团队：LAMB须用性缓冲器作者尤洋曾三度

想到这里，是不是觉得Colossal-AI确实有一点标星关注一发？

严格来说，这一国产工程项目才是的合作开发制作团队来头不小。

曾三度者，正是LAMB须用性缓冲器的重申者尤洋。

他曾以第一名的成绩保送清华计算机系硕士毕业生，后赴特州大学伯克利分校攻读CS博士学位。

拿过IPDPS/ICPP最佳论文、ACM/IEEE George Michael HPC Fellowship、亿万富翁30岁以下精英（亚洲 2021）、IEEE-CS超算多才多艺新人王、UC伯克利EECS Lotfi A. Zadeh出众毕业生奖。

在苹果公司实习期间，凭借LAMB分析方法，尤洋曾冲破BERT可不专业训练纪录。

据英伟达官方GitHub推测，LAMB比Adam须用性缓冲器快出年头72倍。IBM的DeepSpeed也转用了LAMB分析方法。

2021年，尤洋出国创办潞晨科技——一家主营业务为分布式软件的系统、大规模人工智能平台以及企业级计算机网络克服建议书的AI初创公司。

制作团队的核心成员均来自美国特州大学伯克利分校、哈佛大学、斯坦福大学、斯坦福大学、清华大学、北京大学、新特坡国立大学、新特坡南洋理工大学等国内外知名高等学校；拥有Google Brain、IBM、Intel、 Microsoft、NVIDIA等知名产品指导经历。

公司组建即得到创新工场、真格私人政府部门等多家顶尖VC政府部门种子轮投资。

潞晨CSO Prof. James Demmel为特州大学伯克利分校多才多艺教授、ACM/IEEE Fellow，同时还是美国研究院、中国工程院、艺术与研究院三院研究员。

传送门：

参考链接：@hpcaitech/train-18-billion-parameter-gpt-models-with-a-single-gpu-on-your-personal-computer-8793d08332dc

— 先 —

本文来自微信政府会号 “比率子位”（ID：QbitAI），作者：明敏，36氪经授权发布。

。