論文の概要: CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.36437v1
• Date: Tue, 27 Oct 2026 00:36:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.215556
• Title: CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning
• Title（参考訳）: CONCUR:マルチタスク・マルチリワード強化学習のためのコンコーダント補助リワード
• Abstract要約: 群相対的優位推定器は、他のどの成分と同様にゲート補助を扱います。 ゲート付き補助装置の維持はタスクを損なうが、それを落として他のタスクを損なう。 本研究では,各ゲートの標準スコアを最も近いスコアに置き換える利点推定器であるCONCURを提案する。
• 参考スコア（独自算出の注目度）: 62.54814637079957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When a Large Language Model (LLM) is trained with Reinforcement Learning (RL) on multiple tasks, a task's primary reward can gate auxiliary rewards such as a length reward: on a failing response, an auxiliary cannot exceed the primary. However, group-relative advantage estimators treat a gated auxiliary like any other component, so it can reverse the primary's order, and at the primary's ceiling only auxiliaries order responses. Keeping gated auxiliaries hurts some tasks, while dropping them hurts others. We propose CONCUR, an advantage estimator that replaces the standardized scores of each gated auxiliary with the closest scores that satisfy two conditions: responses with higher primary rewards cannot receive lower scores, and responses at the primary's ceiling receive equal scores. CONCUR-T applies both conditions throughout training, and CONCUR-A lifts the second for an auxiliary that agrees with the primary's order more often than it reverses it among passing responses. On three models from two families and across math, code, instruction following, and writing, both variants score higher on average than all baselines and than when all the gated auxiliaries are dropped.
• Abstract（参考訳）: 大規模言語モデル (LLM) が強化学習 (Reinforcement Learning, RL) で複数のタスクで訓練されると、タスクのプライマリ報酬は、長さ報酬のような補助報酬をゲートすることができる。 しかし、グループ相対優位推定器は他のどの成分と同様にゲート補助を扱い、プライマリの順序を逆転させることができ、プライマリの天井では補助的な応答のみを順序付けする。 ゲート付き補助装置の維持はタスクを損なうが、それを落として他のタスクを損なう。 本研究では,各ゲートの標準スコアを2つの条件を満たす最も近いスコアに置き換える利点推定器であるCONCURを提案する。 CONCUR-Tはトレーニングを通して両方の条件を適用し、CONCUR-Aはプライマリの順序によく一致する補助装置を2つ挙げる。 2つのファミリーの3つのモデルと数学、コード、命令の追従、書き込みにおいて、どちらの変種も全てのベースラインよりも平均的に高いスコアを示し、全てのゲート付き補助語が削除されたときよりも高いスコアを得る。

関連論文リスト

• Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense [38.10033014007253]
  対称アグリゲーションは、一次タスク性能が低下する間にアグリゲーション報酬が改善する障害を生じさせることを示す。 我々は、この失敗を軽減すべく、Trust-Anchored Gating (TAG)を提案する。
  論文  参考訳（メタデータ） (2026-10-15T07:21:58Z)
• Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards [8.349684624753847]
  残留アドバンテージ (Residual Advantage, RA) は教師の確率残差を1段階の有界報酬として扱う。 さらにCoRAは、同じスコアの学生バッチ上でバリデーションの利点で教師のLoRAを更新し、更新された教師を次のイテレーションの残余で使用する。 Qwen3-1.7B-BaseとQwen3-4B-Baseの学生とQwen3-8Bの教師によって、RAはGRPOやREINFORCE++と組み合わせて、基礎となるシーケンシャルアドバンテージアルゴリズムを全24比較で改善する。
  論文  参考訳（メタデータ） (2026-10-08T08:52:55Z)
• ReCAST: Reward Credit Assignment across Timesteps for Online Diffusion Reinforcement [49.49571101362551]
  本稿では,ReCAST(Reward Credit Assignment across Timesteps)を提案する。 我々は、ReCASTがトレーニング報酬を超えて、その中核となる原則をサポートするために一般化する改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-09-11T18:41:09Z)
• Teach-to-Reason: Competition-Guided Reasoning with a Self-Improving Teacher [18.162030833167385]
  胸部X線視覚質問応答(CXR VQA)は、正しい回答を予測するだけでなく、信頼できる医学的推論を生成するためにモデルを必要とする。 CoT最適化に比較に基づく監視を導入するフレームワークであるtext-to-Reason (T2R)を提案する。
  論文  参考訳（メタデータ） (2026-06-24T05:07:41Z)
• P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering [51.04492568024515]
  本稿では,プロセス報酬を微粒化するための新しいフレームワークである確率的プロセススーパービジョン(P2S)を紹介する。 P2Sは、個別の報酬モデルや人間に注釈を付けた推論ステップを必要とせずに、きめ細かいプロセス報酬を提供する。
  論文  参考訳（メタデータ） (2026-01-28T14:35:20Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)
• Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
  本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。 エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-09-28T16:33:07Z)
• Information-Theoretic Reward Decomposition for Generalizable RLHF [51.550547285296794]
  我々は報酬値を2つの独立したコンポーネントに分解する。 提案手法は,データサンプルを不利な報酬値に基づいて優先順位付けすることで,新たな報酬学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-08T13:26:07Z)
• Return-Based Contrastive Representation Learning for Reinforcement Learning [126.7440353288838]
  そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。 アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-02-22T13:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。