論文の概要: CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents

• arxiv url: http://arxiv.org/abs/2610.29965v1
• Date: Wed, 21 Oct 2026 16:19:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.40517
• Title: CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents
• Title（参考訳）: CORD: コンフリクト・アウェアによるRLの最適化とエージェントの蒸留
• Abstract要約: CORDは、2つの目的の競合認識最適化のためのフレームワークである。 プロジェクションをトリガーする条件から保護対象の選択を分離し、ミニバッチ毎にグラデーションを結合する。 勾配結合機構として、CORDは目的を維持しつつ、異なるジョイントトレーニングレシピに追加することができる。
• 参考スコア（独自算出の注目度）: 53.94288875093263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint reinforcement learning and self-distillation combines task rewards with dense teacher guidance for agent training, but their gradients can partly cancel. A mixing coefficient controls relative scale without selectively removing opposing components. We present CORD, a general framework for conflict-aware optimization of two objectives. CORD separates the choice of protected objective from the condition that triggers projection, and combines the gradients once per optimizer mini-batch. A nearest-point formulation yields a closed-form update and characterizes its first-order effect on the protected objective before optimizer transformations. Gradient diagnostics connect conflict in agent training to lost local optimization progress and motivate selective correction. As a gradient-combination mechanism, CORD can be added to different joint training recipes while retaining their objectives. Across three such recipes, it improves ALFWorld success by 1.5-15.9 percentage points. On WebShop, it improves two of the three pairs, with SDAR rising from 60.7% to 64.6% success. Our analyses explain why protection direction and projection gate must be chosen together, and why the distillation objective and its mixing weight remain consequential after projection.
• Abstract（参考訳）: 統合強化学習と自己蒸留は、タスク報酬とエージェントトレーニングのための密集した教師指導を組み合わせるが、その勾配は部分的にキャンセルできる。 混合係数は、反対成分を選択的に除去することなく相対スケールを制御する。 2つの目的の競合認識最適化のための一般的なフレームワークであるCORDを提案する。 CORDはプロジェクションをトリガーする条件から保護対象の選択を分離し、オプティマイザのミニバッチ毎にグラデーションを1回組み合わせる。 最寄り点の定式化により閉形式が更新され、オプティマイザ変換の前に保護対象に対する一階効果が特徴づけられる。 グラディエント診断はエージェントトレーニングにおける競合を結び、局所的な最適化の進捗をなくし、選択的な修正を動機付ける。 勾配結合機構として、CORDは目的を維持しつつ、異なるジョイントトレーニングレシピに追加することができる。 3つのレシピでALFWorldの成功率を1.5～15.9ポイント向上させる。 WebShopでは、3つのペアのうち2つを改善し、SDARは60.7%から64.6%に上昇した。 本分析では,なぜ保護方向と投射ゲートが選択されなければならないのか,なぜ蒸留目標と混合重量が投射後に連続的に残るのかを考察した。

関連論文リスト

• Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization [12.210163599342161]
  自己蒸留ポリシーの最適化は、フィードバック条件の自己学習者によるLCM後トレーニングの高密度トークンレベル管理を提供する。 本研究では,学生と自己学習者の分布を混合して正当性に依存した目標を構築する,自己蒸留による非対称政策最適化(APSD)を提案する。
  論文  参考訳（メタデータ） (2026-10-19T08:03:09Z)
• ORPG: Reconciling Multiple Reward Objectives through Objective-wise Policy Gradients [52.516765672263574]
  マルチリワードポリシー最適化には、学習信号と目的間の意図した関係の両方を反映した共同アップデートが必要である。 我々は、報酬ごとに個別にクリッピングされたポリシー目標を構築し、その結果の勾配を1つのポリシー更新に調整するORPG(Objective-wise Reconciled Policy Gradient)を導入する。
  論文  参考訳（メタデータ） (2026-09-28T11:58:21Z)
• From Soft Targets to Reward Signals: How Assignment and Reward Objectives Interact [11.936645965216364]
  本研究では、異なる応答対に一定の好みの強さを割り当てることによって、異なる目的によって得られる報酬がどう変化するかを検討する。 対象の配置と報奨対象の形状報酬特性が選好精度を超えるような共同設計空間を確立する。
  論文  参考訳（メタデータ） (2026-09-28T10:44:39Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• Beyond Uniform Forgetting: A Study of Sequential Direct Preference Optimization Across Preference Settings [11.551054698858266]
  4つの選好設定における逐次直接選好最適化について検討する。 シーケンシャルなDPOは単一の忘れパターンを生成しない。 メカニカル診断では、Stage2グラデーションとアダプタの更新は、すべての設定で以前の目的とほぼ直交している。
  論文  参考訳（メタデータ） (2026-06-18T03:20:41Z)
• StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
  本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。 StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。 より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
  論文  参考訳（メタデータ） (2026-05-26T15:07:03Z)
• Modeling LLM Unlearning as an Asymmetric Two-Task Learning Problem [25.52694747839162]
  機械の非学習を非対称な2タスク問題として再放送する: 保持は主目的であり、忘れることは補助的である。 コンフリクト・アウェアの組み合わせからタスク固有の勾配抽出を分離する保持優先勾配合成フレームワークを提案する。 以上の結果から,損失の再分散ではなく,階層構造を再構築することが,未学習の留意点を緩和する鍵であることを示唆した。
  論文  参考訳（メタデータ） (2026-04-16T09:31:36Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Logit Margin Matters: Improving Transferable Targeted Adversarial Attack by Logit Calibration [85.71545080119026]
  クロスエントロピー(CE)損失関数は、伝達可能な標的対向例を学習するには不十分である。 本稿では,ロジットを温度係数と適応マージンでダウンスケールすることで,ロジットのキャリブレーションを簡易かつ効果的に行う2つの手法を提案する。 ImageNetデータセットを用いて実験を行い,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-07T06:42:52Z)
• Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
  最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-07-05T15:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。