論文の概要: Control-Diverse Reinforcement Fine-Tuning: Decoupling the Shared Control Bottleneck of RL Post-Training

• arxiv url: http://arxiv.org/abs/2608.08224v1
• Date: Sat, 08 Aug 2026 16:44:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.730862
• Title: Control-Diverse Reinforcement Fine-Tuning: Decoupling the Shared Control Bottleneck of RL Post-Training
• Title（参考訳）: 制御-横方向強化ファインチューニング:RLポストトレーニングの共有制御ブートネックの分離
• Abstract要約: 強化学習はLLMの複雑な推論を解き放つ。 ベンチマークスコアは、モデルが改善されたか、内部が変更されたか、タスク間で有限の能力をどのように分割したかのみを示す。 我々は、アクティベーションを制御から分離することで、このアクティベーション中心のアカウントに挑戦する。
• 参考スコア（独自算出の注目度）: 5.633817116718103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning post-training unlocks complex reasoning in LLMs. Yet benchmark scores reveal only whether a model improved, not what changed inside it, nor how it splits finite capability across tasks. A representative interpretability line attributes the success of RL fine-tuning to stronger and more diverse circuit activation. We challenge this activation-centered account by separating activation from control: an activated circuit need not control the post-training reward gain. Adapting Metabolic Control Analysis, we define the Post-training Control Coefficient to measure component control over reward gain and arrange these coefficients by task family into a control matrix, paired with an activation-magnitude matrix. We call cross-task control concentration the Shared Control Bottleneck and the difference between activation and control concentration the Activation-Control Gap. This reveals that highly shared activations can coexist with task-specific control, while a small gap indicates that control has collapsed onto a shared direction and lost task specificity. To reduce this collapse, we regularize the post-training loss with the Shared Control Bottleneck and propose Control-Diverse Reinforcement Fine-Tuning (CD-RFT). The exact regularizer gradient requires second-order automatic differentiation incompatible with flash attention, so we derive a first-order proxy with worst-case overhead below eight percent. On Qwen2.5-7B, CD-RFT achieves the largest control decoupling and improves multi-task capability over matched GRPO across mathematics, code, and logic. The no-KL variant leads on pass@1, and the KL-penalized variant leads on large-k pass@k coverage that KL otherwise degrades. Together, these results show that the Shared Control Bottleneck is both a mechanistic diagnostic and a training regularizer, and that control decoupling and capability gains transfer to Llama-3.2-3B.
• Abstract（参考訳）: 強化学習はLLMの複雑な推論を解き放つ。 しかし、ベンチマークスコアは、モデルが改善されたか、内部が変わったか、タスク間で有限の能力をどのように分割したかのみを示す。 代表的な解釈可能性線は、RL微細調整の成功を、より強くより多様な回路活性化に起因している。 我々は,アクティベーションを制御から切り離すことにより,このアクティベーション中心のアカウントに挑戦する。 メタボリック・コントロール・アナリティクスに適応して、後学習制御係数を定義し、報酬ゲインに対するコンポーネント制御を計測し、タスク・ファミリーによるこれらの係数をアクティベーション・マグニチュード・マトリックスと組み合わせた制御行列に配置する。 我々は、クロスタスク制御濃度を共有制御ボトルネックと呼び、アクティベーション・コントロルギャップの活性化と制御濃度の差を区別する。 これは、高度に共有されたアクティベーションがタスク固有のコントロールと共存できることを明らかにし、小さなギャップは、コントロールが共有された方向に崩壊し、タスク特異性が失われたことを示している。 この崩壊を抑えるため、我々は共有制御ボトルネックで訓練後損失を正規化し、制御-横補強微細調整(CD-RFT)を提案する。 正確な正則化勾配は、フラッシュアテンションと互換性のない2階自動微分を必要とするため、最悪のオーバヘッドが8%未満の1階のプロキシを導出する。 Qwen2.5-7Bでは、CD-RFTは最大制御デカップリングを実現し、数学、コード、論理学において一致したGRPOよりもマルチタスク能力を向上させる。 no-KL 変種は pass@1 に導かれ、KL-penalized 変種は KL が分解する大きな k パス@k カバレッジに導かれる。 これらの結果から,共有制御ボトルネックは機械的診断と訓練正則化器であり,制御の疎結合と能力がLlama-3.2-3Bに伝達されることが示唆された。

関連論文リスト

• Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning [0.05371337604556311]
  大規模言語モデル(LLM)エージェントは通常、プロンプト、キャリブレーションされたモデル、手書きで改善される。 LLMエグゼキュータが凍結状態にある間、軽量コントローラが構造実行動作を選択する有限水平ハーネスMDPとしてハーネス演算を形式化する。
  論文  参考訳（メタデータ） (2026-07-05T22:11:18Z)
• A Systematic Approach to Multi-Agent AI from Advanced Regulatory Control Theory: Safe and Auditable LLM Operator Agents for Process Control [0.2864713389096699]
  プロセス制御の原則の下でのマルチエージェントの改革は、これらの点に対処するための経路を提供する、という仮説を立てることが可能である。 本研究は、高度な規制制御(ARC)理論から導かれた、このような改革を提案する。
  論文  参考訳（メタデータ） (2026-06-29T20:07:47Z)
• Iterative Learning Control-Informed Reinforcement Learning for Batch Process Control [17.081987402115477]
  本研究では,2層バッチ・ツー・バッチおよびバッチ・プロセス内制御アーキテクチャにおいてDRLコントローラを訓練するための反復学習制御インフォームド・強化学習(IL-CIRL)フレームワークを提案する。 提案手法はカルマンフィルタに基づく状態推定を反復学習構造に組み込んで,DRLエージェントを動作制約を満たす制御ポリシーへ誘導し,安定性を保証する。
  論文  参考訳（メタデータ） (2026-03-16T12:17:43Z)
• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
  本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。 我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
  論文  参考訳（メタデータ） (2025-12-01T23:06:56Z)
• Attention on flow control: transformer-based reinforcement learning for lift regulation in highly disturbed flows [0.0]
  我々は、ピッチ制御により、任意の長さのガスト列で空力リフトを制御するための効果的な制御戦略を学習する。 学習戦略は,ガッツ数の増加に伴って性能ギャップが拡大し,最高の比例制御よりも優れることを示す。
  論文  参考訳（メタデータ） (2025-06-11T20:14:28Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• C-GAIL: Stabilizing Generative Adversarial Imitation Learning with Control Theory [20.38647732528661]
  GAIL(Generative Adversarial Learning)は、デモンストレーターを模倣する生成ポリシーを訓練する。 オンラインImitation Reinforcement Learning (RL) を用いて、GANライクな識別器から得られる報酬信号を最適化する。 近年の研究では、制御理論がガンの訓練の収束に役立つことが示されている。
  論文  参考訳（メタデータ） (2024-02-26T07:07:00Z)
• Optimal State Manipulation for a Two-Qubit System Driven by Coherent and Incoherent Controls [77.34726150561087]
  2量子ビット量子系の最適制御には状態準備が重要である。 物理的に異なる2つのコヒーレント制御を利用し、ヒルベルト・シュミット目標密度行列を最適化する。
  論文  参考訳（メタデータ） (2023-04-03T10:22:35Z)
• TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets [118.22975463000928]
  エージェントが複数の行動ポリシーをロールアウトすることで収集したデータセットから学習する必要があるオフライン強化学習(RL)について考察する。 1) RL信号の最適化と行動クローニング(BC)信号の最適なトレードオフは、異なる行動ポリシーによって引き起こされる行動カバレッジの変化によって異なる状態に変化する。 本稿では,TD3アルゴリズムに基づくBC正規化器として,適応重み付き逆KL(Kulback-Leibler)分散を用いることにより,両課題に対処する。
  論文  参考訳（メタデータ） (2022-12-05T09:36:23Z)
• Deep Reinforcement Learning with Embedded LQR Controllers [1.256413718364189]
  本稿では,LQR制御をアクションセットに統合し,リプレイメモリにおける計算制御の一般化と回避を可能にする手法を提案する。 いずれの場合も、LQR制御の追加はパフォーマンスを向上させることができるが、離散的なアクションセットを強化するために使用できる場合、効果はより重大である。
  論文  参考訳（メタデータ） (2021-01-18T17:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。