OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习
发布时间：2026-11-13 作者：玩站小弟 
我要评论
我要评论僧侣之夜在线看完整版动漫。
为了满足 GPT-3、CLIP 和 DALL+ 等大型模型的需要，以及类似于神经语言模型的缩放定Op律的快速小规模迭代研究，OpenAI 将基础设施 k8s 集群扩展到 7500 各节点。
据其描述，对en于大型机器学习作业来说，一个节点通常由单个 pod 占据，并且 OpenAI 部署的集群具有二等AI分带宽，因此尽管其有许多节点，但是调度程序的压力相对较低，仅在一项新任务一次性创建数百个 将 pod 时会有调度压力。
除此之外，OpenAI 还详细说明了其在扩展 k8s 集群时的重要工作内容，比如通 k过改用基于别名的 IP 寻址来解决大量节点的联网问题，在专用节点上部署 etcd 和 API 服务器以8s分散负载，定位使用 Prometheus 和 Grafana 收集指标时的 OOM 问题，设计对集群的健康检查 扩，以及在团队中合理分配集群资源等。
不过，OpenAI 也指出，在扩展 k8s 集群时，目前仍有一展至些问题要解决，比如大规模时 Prometheus 的内置 TSDB 存储引擎压缩速度过慢，并且需 7要很长的时间才能重新启动 WAL(写入预录)，以及扩展集群时，由于每个 pod 都会被计算为需要一50定带宽而带来的网络带宽压力。然而，尽管还有很多地方需要改进，但 k8s 凭借其出色的扩展能力，仍然能0 满足其研究需求。
本文转自OSCHINA
本文标题：OpenAI 将 k8s 扩展至 7500 个节点个节以支持机器学习
本文地址：https://www.oschina.net/news/127949/点以openai-scale-k8s-7500
相关文章
据报道，英国反垄断监管机构“竞争与市场管理局”（CMA）今日提出了一项新的监管准则，旨在更好地监管谷歌和Facebook等科技巨头。CMA称，该机构需要新的权力来充分利用数字市场的潜力，以推动竞争和创2026-11-13
当你在Google搜寻新闻资讯时，搜索结果却混进了乱七八糟的小黄文…… 当你在知网查询学术文献时，排在前面的居然是“论咸鱼的30种烹饪方式”…… 当你在全球最大同性交友社区GitHub搜索摸鱼插件时，2026-11-13
冒泡排序（Bubble Sort）也是一种简单直观的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该2026-11-13
这次，Transformer 参与了舞蹈生成任务。 在艺术领域，AI 有着各式各样的应用，如 AI 生成音乐、AI 绘画。 跳舞，也是 AI 努力学习的一种能力。 此前，以音乐的风格、节奏和旋律作为控2026-11-13
新浪科技讯 北京时间6月3日凌晨消息，据报道，微软周三宣布，该公司将于6月24日发布“下一代Windows”。 微软CEO萨提亚·纳德拉（Satya Nadella）在一周前非正式地表示，下一代Win2026-11-13
云梦级1月7日云梦级消息，据最投行报道，2026年1月13日（周二），深交所上市委将审议杭州高特电子设备股份有限公司（高特电子）创业板IPO项目。高特电子于2025年6月23日申报创业板IPO，保荐机2026-11-13
最新评论