論文の概要: Let Credit Follow Computation: Architecture-Aware Credit Transport for Large Language Model Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.21501v1
- Date: Fri, 21 Aug 2026 16:25:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.232834
- Title: Let Credit Follow Computation: Architecture-Aware Credit Transport for Large Language Model Reinforcement Learning
- Title(参考訳): Let Credit Follow Computation: 大規模言語モデル強化学習のためのアーキテクチャを考慮した信用輸送
- Abstract要約: 大規模言語モデル強化学習(LLM RL)における信用割当は3つの対象に分けることができる。
最近の研究は、証拠、サンプリング、および幾何の更新を大幅に改善しているが、輸送オペレータは通常、アーキテクチャに依存しない。
計算条件付きクレジットトランスポート(CCT)は,動作ポリシの内部計算の分離統計が因果カーネルをパラメータ化する一般的なフレームワークである。
- 参考スコア(独自算出の注目度): 0.3208888890455612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Credit assignment in large-language-model reinforcement learning (LLM RL) can be separated into three objects: evidence about success, a transport operator that converts this evidence into token-level advantages, and an update geometry that turns advantages into policy changes. Recent work has greatly improved evidence, sampling, and update geometry, but the transport operator is usually architecture-agnostic. Fixed-discount GAE applies a stationary geometric kernel along token time; group-relative methods broadcast an outcome statistic across an entire response. Neither operator represents the trajectory-specific computation used by the Transformer policy itself. We introduce computation-conditioned credit transport (CCT), a general framework in which a detached statistic of the behavior policy's internal computation parameterizes the causal kernel that transports downstream value through a rollout. Our concrete algorithm, CompPO, maps native attention concentration to a bounded per-token retention gate, uses the gate in both the one-step bootstrap and a path-dependent generalized-advantage trace (Comp-GAE), and co-designs a transport-aligned critic (TAC) that reuses the actor's hidden states and routing information without a second same-scale Transformer. The task reward and clipped PPO policy objective remain unchanged; a constant gate recovers fixed-coefficient GAE. Across five Qwen3-4B seeds, CompPO reaches 61.4% final held-out accuracy (95% CI [60.8,62.0]) versus 53.8% [52.9,54.7] for tuned GRPO. Neither Comp-GAE with a standard critic (55.2%) nor TAC with a fixed gate (56.4%) matches the full model (interaction +2.4 [1.9,2.9]). Shuffle and position controls confirm trajectory-specific alignment; CompPO is stable in 10/12 PPO-grid runs versus 3/12. Frozen evaluation improves over GRPO by 4.3 and 3.9 greedy pass@1 macro points on Qwen3-4B and Llama-3.1-8B-Instruct.
- Abstract(参考訳): 大規模言語モデル強化学習(LLM RL)における信用割当は、成功に関する証拠、この証拠をトークンレベルの利点に変換する輸送事業者、利点を政策変更に変換する更新幾何学の3つの対象に分けることができる。
最近の研究は、証拠、サンプリング、および幾何の更新を大幅に改善しているが、輸送オペレータは通常、アーキテクチャに依存しない。
固定ディスクGAEはトークン時間に沿って静止幾何学的カーネルを適用し、グループ相対法は応答全体にわたって結果統計をブロードキャストする。
いずれの演算子も、Transformerポリシー自体が使用するトラジェクトリ固有の計算を表現していない。
本稿では、動作ポリシーの内部計算の分離統計が、ダウンストリーム値のロールアウトを通した因果カーネルをパラメータ化する一般的なフレームワークである計算条件付クレジットトランスポート(CCT)を紹介する。
具体的アルゴリズムであるCompPOは、1ステップのブートストラップとパス依存の一般化アドバンテージトレース(Comp-GAE)の両方でゲートを使用し、アクターの隠れ状態とルーティング情報を第2の同一スケールのトランスフォーマーなしで再利用するトランスポート整合批評家(TAC)を共同設計する。
タスク報酬とカットされたPPOポリシーの目的は変わらず、一定ゲートは固定係数GAEを回復する。
5つのQwen3-4B種子の中で、CompPOは最終保持精度(95% CI [60.8,62.0])が61.4%、調整されたGRPOは53.8% [52.9,54.7]に達する。
標準的な批評家(55.2%)のComp-GAEも固定ゲート(56.4%)のTACも完全なモデル(インタラクション+2.4[1.9,2.9])と一致しない。
CompPO は 10/12 PPO-grid ランで 3/12 に対して安定である。
凍結評価は、Qwen3-4BとLlama-3.1-8B-Instruct上のGRPOを4.3および3.9greedy pass@1マクロポイントで改善する。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳(メタデータ) (2026-09-15T04:59:03Z) - RecGPT-Mobile-V2 Technical Report [22.10290138930905]
RecGPT-Mobile-V2は、意図的品質と実行効率をステージド設計の目的として扱うエンドツーエンドフレームワークである。
このフレームワークは異種間相互作用をエビデンス保存軌道に変換し、ドメイン適応と教師付きアライメントを通じてレコメンデーションネイティブ基盤を確立する。
オンライン検索分析では、クエリリコールチャネルは、確立されたリコールチャネルによってサーフェスされたインベントリに補完されるインベントリを検索することを示している。
論文 参考訳(メタデータ) (2026-08-25T09:23:17Z) - Does Fixing Break Security? An Empirical Study of Security Degradation in Iterative LLM-Driven Infrastructure-as-Code Repair [2.4063592468412276]
イテレーティブなIaC修復はセキュリティのレグレッションを導入するが、保守的で防御可能なレートはおよそ3.3%のシナリオである。
本研究は,セキュリティに配慮したフィードバックループ設計と,実行可能な反復予算指導の動機付けである。
論文 参考訳(メタデータ) (2026-08-13T16:01:32Z) - A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳(メタデータ) (2026-08-05T14:01:10Z) - Amplitude-Only FFN Intervention for Tool-Structured LLM Inference Method: Gated Evaluation Protocol, and Cross-Model Empirical Results [10.526208975530054]
モデル重みをトレーニングせずに構造出力を改善するために,推定時フィードフォワードネットワーク(FFN)の介入について検討した。
増幅ゲーティング(Amplitude Gating, AG)は、未訓練のFFNの重量方向を保存し、生成時にのみ活性化の程度を調節する非破壊的な代替手段である。
これらの結果から,安全なFFNレベルの推論最適化のための最も信頼性の高い第1ターゲットとして,ツール構造推論が同定された。
論文 参考訳(メタデータ) (2026-07-13T07:28:55Z) - BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents [10.767742708000897]
ステップワイズグループベースのRLは、学習評論家なしで長期のLDMエージェントを訓練する魅力的な方法である。
現在のエージェントの変種は、状態-アクションの信用ミスマッチによってこの仮定に反することを示す。
批判や補助的な損失、余分なロールアウトを加えることなく、双方を修正できる、ドロップインの利点推定ツールであるBiPACEを紹介します。
論文 参考訳(メタデータ) (2026-06-24T08:32:42Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳(メタデータ) (2026-06-02T06:51:15Z) - Generative Bayesian Computation as a Scalable Alternative to Gaussian Process Surrogates [0.0]
Inlicit Quantile Networks (IQNs) を用いた生成ベイズ計算(GBC)を提案する。
GBCは入出力ペアから完全条件量子関数を学習する。
アクティブラーニングでは、ランダム化された事前IQNアンサンブルは、深いGPアクティブラーニングよりもRMSEの約3倍低い値を達成する。
論文 参考訳(メタデータ) (2026-02-24T22:29:17Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。
この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。
MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
論文 参考訳(メタデータ) (2022-10-14T03:22:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。