論文の概要: Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages

• arxiv url: http://arxiv.org/abs/2605.20285v1
• Date: Tue, 19 May 2026 06:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.2682
• Title: Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages
• Title（参考訳）: イントロスペクティブXトレーニング:すべてのLLMトレーニングステージにおけるフィードバック条件の改善
• Authors: Brandon Cui, Ximing Lu, Jaehun Jung, Syeda Nahida Akter, Hyunwoo Kim, Yuxiao Qu, David Acuna, Shrimai Prabhumoye, Yejin Choi, Prithviraj Ammanabrolu,
• Abstract要約: 私たちは、現在のLLMトレーニングパイプラインの、成長を続ける多くのステージに対して、どのようにより効率的にスケールするかという問題に取り組みます。 オフライン報酬条件強化学習に触発されたイントロスペクティブトレーニング(IXT)を提案する。 IXTは思考報酬モデルを使用して、自然言語の批判に基づくフィードバックでデータを注釈付けし、パイプラインの初期段階から品質に配慮したトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 51.86479668480496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We tackle the question of how to scale more efficiently across the many, ever-growing stages of current LLM training pipelines. Our guiding intuition stems from the fact that the dynamics of later stages of the pipeline, e.g. post-training, can be used to inform earlier stages such as pre-training. To this end, we propose Introspective Training (or IXT), inspired by offline reward-conditioned reinforcement learning and applicable to any stage of training. IXT uses a thinking reward model to annotate data with natural language critique based feedback, enabling quality aware training from the earliest stages of the pipeline. Models are then trained by prefix-conditioning the data with the generated feedback -- ensuring that not all tokens are treated equally starting much earlier in training than usual. Comprehensive experiments on 7.5-12B transformer-based dense LLMs trained from scratch all the way up to 18 Trillion tokens seen show that our method: bends scaling curves resulting in up to 2.8x more compute efficiency generally; and reaches performance levels unachievable for models trained otherwise in domains such as math and code.
• Abstract（参考訳）: 私たちは、現在のLLMトレーニングパイプラインの、成長を続ける多くのステージに対して、どのようにより効率的にスケールするかという問題に取り組みます。 我々の指導的直観は、パイプラインの後期段階のダイナミクス、例えばポストトレーニングが、事前訓練のような初期の段階の情報を伝達するために使われるという事実に起因している。 この目的のために、オフラインの報酬条件強化学習にインスパイアされたイントロスペクティブトレーニング(IXT)を提案し、トレーニングのあらゆる段階に適用する。 IXTは思考報酬モデルを使用して、自然言語の批判に基づくフィードバックでデータを注釈付けし、パイプラインの初期段階から品質に配慮したトレーニングを可能にする。 モデルは、生成したフィードバックでプレフィックス条件でトレーニングされる -- すべてのトークンが、通常よりもずっと早くトレーニングを開始するようにはならない。 7.5-12B 変圧器をベースとした高密度 LLM のスクラッチから最大18トリリオントークンまでを学習した総合的な実験は、我々の方法が示している: スケーリング曲線を曲げると計算効率は最大2.8倍に向上し、数学やコードのような他の領域で訓練されたモデルでは達成不可能な性能レベルに達する。

関連論文リスト

• ReMiT: RL-Guided Mid-Training for Iterative LLM Evolution [49.496216822640974]
  トレーニングのダイナミクスを分析し,中間学習フェーズをモデル能力の重要な転換点として同定する。 本稿では,ReMiT(Reinforcement Learning-Guided Mid-Training)を導入する。
  論文  参考訳（メタデータ） (2026-02-03T04:04:41Z)
• EvoLM: In Search of Lost Language Model Training Dynamics [97.69616550374579]
  EvoLMは、事前トレーニング、継続事前トレーニング、教師付き微調整、強化学習を含む、LMのトレーニングダイナミクスの体系的かつ透過的な分析を可能にするモデルスイートである。 1Bおよび4Bパラメータを持つ100以上のLMをスクラッチからトレーニングすることにより、上流(言語モデリング)と下流(確率解決)の両方の推論能力を評価する。
  論文  参考訳（メタデータ） (2025-06-19T04:58:47Z)
• Training Dynamics of a 1.7B LLaMa Model: A Data-Efficient Approach [10.39475177812483]
  約200億個のデータに対するDMaS-LLaMa-Liteのトレーニングから得られた洞察を共有します。 我々は、検証損失レベルとダウンストリームベンチマークの進化が、不整合テキストから、流動的で文脈に根ざしたアウトプットへの移行を反映しているかを記述した、完全なトレーニングの軌跡を詳述する。 これらの経験を詳述し、トレーニングログ、チェックポイント、サンプルアウトプットを提供することで、将来の研究者や実践者が事前学習戦略を洗練することを目指している。
  論文  参考訳（メタデータ） (2024-12-17T21:15:52Z)
• Beyond Next Token Prediction: Patch-Level Training for Large Language Models [69.67438563485887]
  大規模言語モデル(LLM)に対するパッチレベルのトレーニングを導入する。 パッチレベルのトレーニングでは、言語モデルの短いパッチシーケンスをフィードし、次のパッチを予測するようにトレーニングします。 パッチレベルのトレーニングは、モデルのパフォーマンスを損なうことなく、全体のトレーニングコストを0.5$times$に削減できることを示す。
  論文  参考訳（メタデータ） (2024-07-17T15:48:39Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Staged Training for Transformer Language Models [47.99321376123886]
  私たちは、小さなモデルから始まり、トレーニングに使用する計算量を漸進的に増加させる、段階的なトレーニング設定を考えます。 トレーニングプロセスは、各ステージを前のステージの出力で初期化することにより、計算を効果的に再利用する。 成長オペレーターを実証的に検証し、自己回帰言語モデルのトレーニングを行い、最大22%の計算貯蓄量を示した。
  論文  参考訳（メタデータ） (2022-03-11T19:05:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。