論文の概要: PithTrain: A Compact and Agent-Native MoE Training System
- arxiv url: http://arxiv.org/abs/2605.31463v1
- Date: Fri, 29 May 2026 15:52:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.716825
- Title: PithTrain: A Compact and Agent-Native MoE Training System
- Title（参考訳）: PithTrain: コンパクトでエージェント指向のMoEトレーニングシステム
- Abstract要約: PithTrainは、コンパクトでエージェントネイティブなMoEトレーニングフレームワークです。
ATE-Benchでは,エージェントタスクの効率が向上し,エージェントターンが最大62%,アクティブGPUタイムが64%向上した。
- 参考スコア（独自算出の注目度）: 27.857461550954337
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) has become the dominant architecture for frontier language models. To meet this demand, production frameworks have built optimized MoE training stacks over years of engineering effort. Yet evolving these stacks for new architectures and system optimizations remains expensive. With the rise of AI coding agents, they could automate parts of training-framework development and accelerate this evolution. But applying them to these existing frameworks carries hidden costs, invisible to today's throughput-only evaluations. We name this missing dimension agent-task efficiency (ATE): the cost of using coding agents to understand, operate, and extend a framework. Grounded in four agent-native design principles, we build PithTrain, a compact, agent-native MoE training framework. We further introduce ATE-Bench, covering real-world training-framework tasks. Our evaluation shows PithTrain matches the throughput of production frameworks, and on ATE-Bench, PithTrain enables higher agent-task efficiency, with up to 62% fewer Agent Turns and 64% less Active GPU Time.
- Abstract（参考訳）: Mixture-of-Experts (MoE) はフロンティア言語モデルの主要なアーキテクチャとなっている。
この要求に応えるために、プロダクションフレームワークは、長年のエンジニアリング作業に対して最適化されたMoEトレーニングスタックを構築しました。
しかし、新しいアーキテクチャやシステムの最適化のためにこれらのスタックを進化させるのは、依然としてコストがかかる。
AIコーディングエージェントの台頭により、トレーニング・フレームワークの開発の一部を自動化することができ、この進化を加速できる。
しかし、これらの既存のフレームワークにそれらを適用することは、今日のスループットのみの評価には見えない、隠れたコストをもたらす。
コーディングエージェントを使用してフレームワークを理解し、操作し、拡張するコストです。
4つのエージェントネイティブ設計原則に基づいて、コンパクトでエージェントネイティブなMoEトレーニングフレームワークであるPithTrainを構築しました。
さらに、現実世界のトレーニング・フレームワークタスクをカバーするATE-Benchを紹介します。
評価では、PathTrainはプロダクションフレームワークのスループットと一致し、ATE-Benchでは、エージェントタスク効率が向上し、エージェントターンが最大62%、アクティブGPUタイムが64%削減された。
関連論文リスト
- ForgeTrain: Forging Production-Grade Training Frameworks via Harness-Driven AI Development [31.93593134525649]
大型モデルのトレーニングは依然としてMegatron-LMのような汎用フレームワークに依存している。
各シナリオに対してスクラッチから専用の実装を構築する。
フレームワークをトレーニングするためのこのパラダイムを、信頼できるフレームワークを黄金の参照として保持するForgeTrainとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-09-12T01:47:57Z) - ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search [54.43696074323815]
ZGCM-1は、極端なデータ、システム、アルゴリズムの効率でゼロから訓練された、完全にオープンな7Bファンデーションモデルである。
エージェントがクラスタ操作を自律的に管理する、AIネイティブなR&Dワークフローを確立します。
ZGCM-1-7Bは一般的なベンチマークで7Bモデルファミリ間で競合する。
論文 参考訳（メタデータ） (2026-09-11T17:18:04Z) - SimuAgent: An LLM-Based Simulink Modeling Assistant Enhanced with Reinforcement Learning [3.1436750864792375]
我々は,Simulinkに適したモデリングおよびシミュレーションエージェントであるSimuAgentを紹介する。
SimuAgentはXMLを簡潔な辞書スタイルのPython表現に置き換え、トークン数を劇的に削減する。
2段階で訓練された軽量な計画実行アーキテクチャは、エージェントに低レベルのツールスキルと高レベルの設計推論の両方を装備する。
論文 参考訳（メタデータ） (2026-01-08T18:10:35Z) - Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models [78.73992315826035]
ネイティブエージェントインテリジェンスと高い計算効率を調和させる軽量言語モデルであるYoutu-LLMを紹介する。
Youtu-LLMは、スクラッチから体系的に推論と計画能力の育成まで事前訓練されている。
論文 参考訳（メタデータ） (2025-12-31T04:25:11Z) - DiRL: An Efficient Post-Training Framework for Diffusion Language Models [54.405206032785706]
Diffusion Language Models (dLLMs) はAuto-Regressive(AR)モデルに代わる有望な代替品として登場した。
既存の手法は、訓練と推論の間の計算の非効率性と客観的なミスマッチに悩まされている。
我々は,FlexAttention-accelerated blockwise trainingとLMDeploy-timized inferenceを密接に統合した,効率的なポストトレーニングフレームワークであるDiRLを紹介した。
論文 参考訳（メタデータ） (2025-12-23T08:33:19Z) - Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models [49.911784762244814]
TraceRLは拡散言語モデル(DLM)のための軌道対応強化学習フレームワークである
我々は最先端の拡散言語モデル、すなわち TraDo を導出する。
TraDo-8B-InstructはQwen2.5-7B-Instructで6.1%、Llama3.1-8B-Instructで51.3%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-09-08T17:58:06Z) - InternBootcamp Technical Report: Boosting LLM Reasoning with Verifiable Task Scaling [71.37579508777843]
大規模言語モデル(LLM)は、複雑な推論機能を実現することによって、人工知能に革命をもたらした。
このギャップに対処するため、1000以上のドメイン分散タスク環境からなるオープンソースのフレームワークであるInternBootcampを紹介します。
論文 参考訳（メタデータ） (2025-08-12T05:00:00Z) - R&D-Agent: An LLM-Agent Framework Towards Autonomous Data Science [70.1638335489284]
高レベルの機械学習エンジニアリングタスクは、労働集約的で反復的である。
機械学習プロセスを形式化する包括的で分離されたフレームワークであるR&D-Agentを紹介します。
R&D-AgentはMLEを2つのフェーズと6つのコンポーネントに定義し、MLEのエージェント設計を原則としてテスト可能なプロセスに変える。
論文 参考訳（メタデータ） (2025-05-20T06:07:00Z) - DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。
開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。
デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-27T12:26:07Z) - PerfRL: A Small Language Model Framework for Efficient Code Optimization [14.18092813639534]
本稿では,コード最適化の問題に対処する革新的なフレームワークPerfRLを紹介する。
我々のフレームワークは、小型言語モデル(SLM)と強化学習(RL)の機能を活用している。
提案手法は,より短いトレーニング時間とより小さな事前学習モデルを用いて,最先端モデルと比較して,類似あるいはより良い結果が得られる。
論文 参考訳（メタデータ） (2023-12-09T19:50:23Z) - MegaBlocks: Efficient Sparse Training with Mixture-of-Experts [19.541303844245835]
MegaBlocksはGPU上でのMixture-of-Experts(MoE)トレーニングを効率的に行うシステムである。
ブロックスパース演算の観点からMoEを再構成し,新しいブロックスパースGPUカーネルを開発する。
当社のアプローチではトークンやマップを現代的なハードウェアに効率的にドロップすることはなく、MoEよりも最大40%のエンドツーエンドのトレーニングスピードアップを実現しています。
論文 参考訳（メタデータ） (2022-11-29T00:27:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。