論文の概要: Training Language Models to Cooperate with Inference-Time Controllers

• arxiv url: http://arxiv.org/abs/2607.23771v1
• Date: Sun, 26 Jul 2026 17:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.222531
• Title: Training Language Models to Cooperate with Inference-Time Controllers
• Title（参考訳）: 推論時間制御と協調する言語モデルの訓練
• Abstract要約: CALM(Controller-Aware Language Models)は、トレーニングループにコントローラを明示的に配置するポストトレーニングフレームワークである。 コントローラによるインタラクションプロトコル上でのマルチタスク強化学習として,コントローラに意識したポストトレーニングを定式化する。 制御器構成とより広い制御器シフトに対するCALMの評価を行い、制御器認識後学習が単一制御器最適化を超えた推論時間における一般化を改善することを示した。
• 参考スコア（独自算出の注目度）: 25.4633535418324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) performance increasingly depends not only on the base model, but also on the inference-time controller used to organize reasoning. Existing post-training methods, however, typically optimize for a single fixed interaction pattern, despite real deployments relying on diverse controllers such as Chain-of-Thought, self-consistency, debate, planning, and verification pipelines. This creates a training--deployment mismatch and limits transfer to new workflows. We introduce CALM (Controller-Aware Language Models), a post-training framework that explicitly places controllers in the training loop. We formulate controller-aware post-training as multi-task reinforcement learning over controller-induced interaction protocols, where controllers are compositions of reusable local reasoning modules. This structure also induces a module-level decomposition of mixed-controller training under a turn-level GRPO objective, enabling a systematic study of controller and module-aware training strategies. We evaluate CALM on held-out controller compositions and broader controller shifts, showing that controller-aware post-training improves generalization across inference-time workflows beyond single-controller optimization.
• Abstract（参考訳）: 大規模言語モデル(LLM)のパフォーマンスは、ベースモデルだけでなく、推論時間コントローラにもますます依存している。 しかし、既存のポストトレーニング手法は、チェーン・オブ・ライト、自己整合性、議論、計画、検証パイプラインなど、さまざまなコントローラに依存する実際のデプロイにもかかわらず、単一の固定されたインタラクションパターンを最適化するのが一般的である。 これにより、トレーニング-デプロイミスマッチが生成され、新しいワークフローへの転送が制限される。 トレーニングループにコントローラを明示的に配置する後トレーニングフレームワークであるCALM(Controller-Aware Language Models)を紹介した。 我々は、コントローラが再利用可能なローカル推論モジュールの構成であるコントローラ誘導インタラクションプロトコル上で、マルチタスク強化学習としてコントローラ認識後トレーニングを定式化する。 この構造はまた、ターンレベルGRPO目標の下で混合コントローラトレーニングのモジュールレベル分解を誘導し、コントローラとモジュール認識トレーニング戦略の体系的な研究を可能にする。 制御器構成とより広範な制御器シフトに対するCALMの評価を行い、制御器認識後トレーニングにより、単一制御器最適化以上の推論時間ワークフローの一般化が向上することを示した。

関連論文リスト

• Agentic Visual Generation: From Generative Models to Agentic Control [73.3572965008302]
  ほとんどの既存のシステムでは、コントローラはLLMまたはVLMであり、ビジュアルジェネレーションモデルはツールやエグゼクタとして機能する。 計画の深さ、道具の使用、複数ロールの協調、強化学習は、しばしばエージェント性の証拠として扱われる。 生成プロセスにおいて、コントローラが直接制御できるものに応じてフィールドを整理する。
  論文  参考訳（メタデータ） (2026-09-06T17:59:24Z)
• Heuristic Learning for Active Flow Control Using Coding Agents [2.867517731896504]
  我々は、現代の符号化エージェントを使用して、明示的な実行可能なフィードバック法を直接検索する。 本稿では,エージェントが公開ベンチマークインタフェースを通じてのみ対話しながら,コントローラの実装を反復的に提案し,評価し,修正する制約付き学習プロトコルを提案する。 検出されたコントローラは、コンパクトで解釈可能で直接検査可能なまま、13の環境のうち10の最高のDRLポリシーに適合または優れる。
  論文  参考訳（メタデータ） (2026-07-13T13:47:17Z)
• AI Training Manager: Bounded Closed-Loop Control of Adaptive Training Recipes [0.0]
  Managerはアクティブな実行から構造化されたテレメトリスナップショットを読み、制約されたアクション空間を監査し、トレーニングパラメータに検証された更新を返す。 TinyStoriesでは、マネージャがオーバーフィッティングを検出し修正し、ベースラインよりも60%低い検証損失を達成する。 ロボット操作強化学習タスクでは,評価やチェックポイント境界においてマネージャの更新を適用したエピソード閉ループ設定において,同じ境界決定インタフェースを使用する。
  論文  参考訳（メタデータ） (2026-06-29T07:07:33Z)
• Hierarchical Prompt-Domain Control and Learning for Resource-Constrained Agentic Language Models [0.0]
  大規模言語モデルはエージェントシステム内にますます展開されている。 本稿では,要求された出力スキーマを学習するために,まず,コンパクトなモデルを蒸留する階層的な制御・学習フレームワークを提案する。 非階層的,蒸留専用,非蒸留ベースラインに対する信頼性とコスト効率の向上を示す。
  論文  参考訳（メタデータ） (2026-05-26T21:23:30Z)
• Small Model as Master Orchestrator: Learning Unified Agent-Tool Orchestration with Parallel Subtask Decomposition [61.291733522717415]
  Agent-as-Toolは並列オーケストレーションのパラダイムであり、エージェントとツールの両方を標準化された学習可能なアクション空間に緩和する。 ParaManagerは、サブタスク解決から計画決定を分離し、ステート対応の並列サブタスク分解、デリゲート、非同期実行を可能にする。 実験により、ParaManagerは複数のベンチマークで高い性能を示し、目に見えないモデルプールの下で堅牢な一般化を示す。
  論文  参考訳（メタデータ） (2026-04-18T14:41:27Z)
• Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning [61.380634253724594]
  次トーケン予測に基づく大規模自己回帰モデルの構築と強化学習(RL)による微調整 自己回帰モデルの内部表現を動作させ,探索することにより,この問題を克服できることを示す。
  論文  参考訳（メタデータ） (2025-12-23T18:51:50Z)
• EasySteer: A Unified Framework for High-Performance and Extensible LLM Steering [55.56674028743782]
  大規模言語モデル(LLM)のステアリングは、推論時にモデル動作を制御するための有望なパラダイムとして登場した。 我々は,vLLM上に構築された高性能LLMステアリングのための統合フレームワークであるEasySteerを提案する。
  論文  参考訳（メタデータ） (2025-09-29T17:59:07Z)
• Learning to Route for Dynamic Adapter Composition in Continual Learning with Language Models [56.93608812478369]
  本稿では,新たなPEFTモジュールのトレーニングを分離し,タスクの専門化を保証する手法であるL2Rを提案する。 その後、L2Rは学習したモジュールを学習し、以前見たタスクの例を含む小さなメモリを利用するルータのネットワークをトレーニングする。 その結果,L2RはPEFTモジュールの効率的な構成を提供し,他の手法と比較して一般化と性能が向上した。
  論文  参考訳（メタデータ） (2024-08-16T23:57:29Z)
• Skip Training for Multi-Agent Reinforcement Learning Controller for Industrial Wave Energy Converters [94.84709449845352]
  近年のウェーブ・エナジー・コンバータ(WEC)は、発電を最大化するために複数の脚と発電機を備えている。 従来のコントローラは複雑な波のパターンを捕捉する制限を示しており、コントローラはエネルギー捕獲を効率的に最大化する必要がある。 本稿では,従来のスプリングダンパよりも優れたマルチエージェント強化学習コントローラ(MARL)を提案する。
  論文  参考訳（メタデータ） (2022-09-13T00:20:31Z)
• Deep Reinforcement Learning with Embedded LQR Controllers [1.256413718364189]
  本稿では,LQR制御をアクションセットに統合し,リプレイメモリにおける計算制御の一般化と回避を可能にする手法を提案する。 いずれの場合も、LQR制御の追加はパフォーマンスを向上させることができるが、離散的なアクションセットを強化するために使用できる場合、効果はより重大である。
  論文  参考訳（メタデータ） (2021-01-18T17:28:48Z)
• Learning a Contact-Adaptive Controller for Robust, Efficient Legged Locomotion [95.1825179206694]
  四足歩行ロボットのためのロバストコントローラを合成するフレームワークを提案する。 高レベルコントローラは、環境の変化に応じてプリミティブのセットを選択することを学習する。 確立された制御方法を使用してプリミティブを堅牢に実行する低レベルコントローラ。
  論文  参考訳（メタデータ） (2020-09-21T16:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。