每个人都应该有ChatGPT，微软开源工具训练速度提升15倍 |
| 发布者：鸿腾智能科技（江苏）有限公司 发布时间：2023-04-13 11:03:33 点击次数：826 关闭 |
| 4月12日当地时间，微软宣布将开源DeepSpeed-Chat，让用户可以轻松训练ChatGPT等大型语言模型。每个人都应该拥有自己的ChatGPT。 OpenAI此前明确表示放弃开源GPT-4，也收到无数“OpenAI不开放”的投诉。AI开源社区推出了LLaMa、Vicuna、Alpaca等模型，帮助开发者构建类ChatGPT模型。 尽管如此，基于现有解决方案仍然难以开发出具有数千亿参数的最先进的ChatGPT模型。主要障碍是RLHF训练没有普及，微软开源的DeepSpeed-Chat拼完了最后一块。”有助于在模型训练中为整个RLHF过程添加框架的“短板”。  只需要一个脚本就可以完成所有三个阶段的RLHF训练，并且可以轻松生成类似ChatGPT的大语言模型，堪称“哑操作”。 这不是DeepSpeed-Chat的唯一优势。微软提供中文、英文、日文文档，提供全面的介绍。总的来说，它的主要功能和操作包括： 1.简化ChatGPT模型的训练，提升推理体验。 2、DeepSpeed-RLHF模块复现了InstructGPT文档中的指令模式。同时，DeepSpeed将训练引擎和推理引擎结合成一个统一的混合引擎，用于RLHF训练。 3、效率和成本效益：可以提高训练速度15倍以上，大大降低成本。例如，如果DeepSpeed-HE在Azure云中训练OPT-30B模型，只需18小时，成本不到300美元。 4.优秀的可扩展性：可支持千亿级参数的模型训练，在多节点、多GPU系统上具有卓越的可扩展性。训练一个具有130亿个参数的模型仅需1.25小时。 5、实现RLHF训练的普及：仅需一块GPU，DeepSpeed-HE即可支持超过130亿参数的模型训练。因此，无法使用多GPU系统的数据科学家和研究人员不仅可以创建轻量级的RLHF模型，还可以创建大型而强大的模型。 此外，与Colossal-AI、HuggingFace等其他RLHF框架相比，DeepSpeed-RLHF在系统性能和模型可扩展性方面表现出色： 在吞吐量方面，DeepSpeed在单个GPU上实现了超过10倍的RLHF训练；在多GPU设置上，它比Colossal-AI快6-19倍，比HuggingFaceDDP快1.4-10.5倍。 在模型缩放方面，Colossal-AI每个GPU最多可以运行1.3B个模型，每个A10040G节点最多可以运行6.7B个模型，而DeepSpeed-HE可以在相同的硬件B模型上运行6.5B和50个模型。，实现了高达7.5倍的改进。 因此，有了超过一个数量级的带宽，DeepSpeed-RLHF可以用与Colossal-AI、HuggingFace相同的预算训练更大的模型，或者以1/10的成本训练类似大小的模型。 |
出租车广告顶灯LED03
作为中国半导体设备的重要进口国，日本将于2023年7月23日起实施半导体出口管制新规。最新海关数据显示，虽然今年上半年日本半导体设备进口同比下降，但6月环比增长，甚至出现光刻机抢购现象。
今年第5号台风杜苏芮“上午，对福建的正面攻击预计将登陆沿海地区，从厦门到惠安，厦门市将启动一级反应。7月27日22时30分左右，我军部队第73军接到命令派出紧急救援力量
据新华社7月27日报道，住房和城乡建设部部长倪虹在近日召开的企业座谈会上表示，将大力支持刚性上升的住房需求，进一步落实降低首付比例和购买首套住房贷款利率购房税费减免、个人住房贷款“知房不贷”等政策完善和措施；继续做好房屋交接工作，加快建设项目交付，切实保护人民群众合法权益。
7月25日至26日，国务院国资委在北京召开“国资委地方领导深化国有企业改革升级举措研讨会”。会上，他们要求我们做好下半年工作，更好推动国有产权和国有企业高质量发展。重点做好深化国有企业改革升级、提质增效稳定增长、提高科技创新能力、调整国有经济布局结构等七个方面工作。
近日，俄罗斯40岁亿万富翁、俄罗斯最大IT集团ICSHoldings创始人安东·切列帕尼科夫(AntonCherepanikov)被发现死于莫斯科办公室，初步死因是心脏骤停。然而周围人却对此表示怀疑，让切列帕尼科夫也成为最新一位“神秘死亡”的俄罗斯富豪。
