論文の概要: The Representation-Rationalizability Tradeoff in Reward Learning
- arxiv url: http://arxiv.org/abs/2606.00291v1
- Date: Fri, 29 May 2026 19:22:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.258291
- Title: The Representation-Rationalizability Tradeoff in Reward Learning
- Title（参考訳）: 逆学習における表現・相対化可能性のトレードオフ
- Abstract要約: 社会的選択問題としてRLHFを訓練するが、各プロンプトに対して予め列挙された有限な応答を仮定する。
現代のパイプラインは、スカラーヘッドの前に学習した表現$(x,y)$でレスポンスをスコアするので、$はどのレスポンスが区別可能な代替品として扱われるかを決定する。
我々は、$$で構築された報酬の余剰エントロピー損失が、正確に表現項に分解され、よりリッチな$$が縮小し、よりリッチな$$が拡大する集約項に分解されることを示した。
- 参考スコア（独自算出の注目度）: 24.1466886968784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In RLHF, each training example contains a prompt $x$ and two candidate responses $y,y'$, and annotators provide pairwise preferences between these responses. The learning problem is to convert these heterogeneous pairwise judgments into a single scalar reward $r(x,y)$ that measures response quality for each prompt. Classical social choice implies an impossibility because heterogeneous annotator samples can induce pooled preferences with Condorcet cycles, so no scalar reward can evaluate all compared response pairs consistently. A growing literature analyzes RLHF as a social-choice problem, but usually assumes a fixed finite set of alternatives, i.e., a pre-enumerated finite set of candidate responses for each prompt. Modern pipelines instead score responses through a learned representation $φ(x,y)$ before a scalar head, so $φ$ determines which responses are treated as distinguishable alternatives and which comparisons are visible to the reward model. Once this embedding is part of the problem, the impossibility results from social choice theory become a tradeoff. We show that the excess cross-entropy loss of any reward built on $φ$ decomposes exactly into a representational term, which a richer $φ$ shrinks, and an aggregation term, which a richer $φ$ enlarges by exposing more comparisons that no scalar can rank consistently. The same results extend to direct preference optimization (DPO), and jointly training the embedding and the reward cannot guarantee to recover the sweet spot of this tradeoff. Experiments on synthetic data and real preference datasets corroborate our results.
- Abstract（参考訳）: RLHFでは、各トレーニング例はプロンプト$x$と2つの候補応答$y,y'$を含み、アノテーションはこれらの応答をペアワイズする。
学習問題は、これらの不均一なペアワイズ判定を、各プロンプトに対する応答品質を測定する単一のスカラー報酬$r(x,y)$に変換することである。
古典的な社会的選択は、異種アノテータサンプルがコンドルセットサイクルでプールされた嗜好を誘導できるため、スカラー報酬が全ての比較された応答対を一貫して評価できないため、不可能であることを意味する。
成長する文献は、RLHFを社会的選択問題として分析するが、通常、各プロンプトに対して予め列挙された有限応答の有限集合を仮定する。
現代のパイプラインは、スカラーヘッドの前に学習した表現$φ(x,y)$で応答をスコアするので、$φ$はどの応答が区別可能な代替品として扱われるか、どの比較が報酬モデルに表示されるかを決定する。
この埋め込みが問題の一部になると、社会的選択理論による不可能な結果がトレードオフとなる。
我々は、$φ$上に構築された任意の報酬の余剰エントロピー損失が、正確には表現項に分解され、よりリッチな$φ$が縮小し、よりリッチな$φ$が一貫してランク付けできない比較を露出することによって拡大する集約項に分解されることを示した。
同じ結果は直接選好最適化(DPO)にまで拡張され、埋め込みと報酬を共同でトレーニングしても、このトレードオフのスイートスポットを回復することは保証できない。
合成データと実際の嗜好データセットの実験は、その結果を裏付けます。
関連論文リスト
- Relational Response Fields: A General Theory of Black-Box LLM Response Consistency and Recovery [0.0]
ブラックボックス言語モデルの信頼性は、サンプリング、プロンプト、投票、検証、または個別の回答の反復的な修正によって追求される。
我々は、クエリの型変換に対する応答を、エンフレレーション応答場(RRF)として表現する。
アンカーは、パラフレーズ、スケーリング、分解、その他のタスク対称性の下で、有効なレスポンスがどのように変化するかをエンコードする。
リレーショナル演算子$D$、アンカー演算子$A$、最大で$k$の応答ノードに対して、ブラックボックス応答回復の本質的な難しさとして$_k(D,A)$を識別する。
論文 参考訳（メタデータ） (2026-08-05T07:43:41Z) - The Sample Complexity of Multiclass and Sparse Contextual Bandits [106.74652380822778]
我々は,包括的フィードバックに基づいて,与えられたクラスからほぼ最適なポリシーを特定することを目的とする。
ゼロ・ワンの報酬を伴うバンド型マルチクラス分類に動機付けられ、emph$s$-sparse設定に焦点をあてる。
我々は、$s$-sparseの報酬で、誘導モデルクラスは、$s$でスケールするシャープなDEC境界を認め、直接最適なレートを得ることを示す。
論文 参考訳（メタデータ） (2026-05-28T09:12:20Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - Likelihood-Based Reward Designs for General LLM Reasoning [17.640897774014707]
強化学習による微調整された大きな言語モデルは、ベンチマーク毎に特定の報酬関数、しばしばバイナリを必要とする。
ここでは,基準解を出力する確率や対数確率から得られる報酬について検討する。
連鎖学習の報奨として参照回答の対数確率を用いることが,すべての設定において良好に機能する唯一の選択肢であることがわかった。
論文 参考訳（メタデータ） (2026-02-03T20:04:21Z) - DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。
モデル応答の多様性を最大化するサンプルを選択することが重要となる。
我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
論文 参考訳（メタデータ） (2025-10-09T08:53:59Z) - Reasoning without Regret [4.07926531936425]
本稿では,スパース結果に基づく報酬を効果的な手順に基づく信号に変換する非回帰フレームワークであるemphBackwards Adaptive Reward Shaping(BARS)を紹介する。
我々の分析は, 一般的な連鎖, 連続スケーリング限界, 非線形ファインマン・カック境界に基づいて, 最近の結果に基づく手法の実証的成功と中間管理の利点を結びつけている。
論文 参考訳（メタデータ） (2025-04-14T00:34:20Z) - Information-Theoretic Reward Decomposition for Generalizable RLHF [51.550547285296794]
我々は報酬値を2つの独立したコンポーネントに分解する。
提案手法は,データサンプルを不利な報酬値に基づいて優先順位付けすることで,新たな報酬学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-08T13:26:07Z) - Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。
我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。
大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
論文 参考訳（メタデータ） (2024-06-21T18:06:30Z) - Reinforcement Learning from Human Feedback without Reward Inference: Model-Free Algorithm and Instance-Dependent Analysis [16.288866201806382]
モデルフリーなRLHFベストポリシー識別アルゴリズムである$mathsfBSAD$を、明示的な報酬モデル推論なしで開発する。
アルゴリズムは、人選好情報から直接、その最適方針を後方方向に識別する。
論文 参考訳（メタデータ） (2024-06-11T17:01:41Z) - Towards Theoretical Understanding of Inverse Reinforcement Learning [45.3190496371625]
逆強化学習(IRL)は、専門家が示す振る舞いを正当化する報酬関数を回復するアルゴリズムの強力なファミリーである。
本稿では、生成モデルを用いた有限水平問題の場合のIRLの理論ギャップを解消する。
論文 参考訳（メタデータ） (2023-04-25T16:21:10Z) - Provably Efficient Offline Reinforcement Learning with Trajectory-Wise
Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。
PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。
私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文 参考訳（メタデータ） (2022-06-13T19:11:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。