論文の概要: Can You Trust Your Preference Models? Stackelberg Games for Alignment

• arxiv url: http://arxiv.org/abs/2610.15008v1
• Date: Sat, 10 Oct 2026 15:41:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.142028
• Title: Can You Trust Your Preference Models? Stackelberg Games for Alignment
• Title（参考訳）: 選好モデルを信頼できますか?Stackelbergのアライメントゲーム
• Abstract要約: 我々は、評価者が根底にある嗜好を覆す可能性のある比較を探すためにポリシーを訓練する。 我々は、予測誤差のプロキシとして、選好モデルの集合間の不一致を用いる。
• 参考スコア（独自算出の注目度）: 21.34798677165236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are frequently aligned to human preferences via imperfect evaluators whose errors can be exploited during optimization. We train policies to search for comparisons on which an evaluator may reverse the underlying preference, providing candidates for additional supervision. Since human preferences are unavailable during policy training, we use disagreement among an ensemble of preference models as a proxy for prediction error. We formulate this search as a zero-sum Stackelberg game between two opposing policies, a Leader which tries to minimize disagreement, and a Follower which maximizes it. For a general class of finite contextual Stackelberg games, we establish equilibrium existence and, under regularization, uniqueness and a closed-form characterization. We introduce Stackelberg Mirror Descent-Ascent (SMIDA), a two-timescale algorithm with linear last-iterate convergence in the tabular setting, and develop a neural policy-gradient analogue. Experiments with a synthetic oracle support disagreement as an informative proxy for prediction error. On held out data the trained policies outperform reference policies and increase the fraction of comparisons that exceed a disagreement threshold and reverse the oracle's preference.
• Abstract（参考訳）: 言語モデルは、最適化時にエラーを悪用できる不完全な評価器を通じて、人間の好みによく適合する。 我々は、評価者が根底にある嗜好を覆す可能性がある比較を探索するためにポリシーを訓練し、追加の監督のための候補を提供する。 政策訓練中、人間の嗜好は利用できないため、予測誤差のプロキシとして、選好モデルのアンサンブル間の不一致を用いる。 我々は、この探索を、対立する2つのポリシー、意見の不一致を最小限に抑えるリーダーと、それを最大化するフォロワーの間のゼロサム・スタックルバーグゲームとして定式化する。 有限文脈のスタックルベルグゲーム(英語版)の一般クラスに対して、平衡の存在を確立し、正規化、一意性、閉形式の特徴づけを定めている。 線形終点収束を持つ2時間スケールのアルゴリズムであるStackelberg Mirror Descent-Ascent(SMIDA)を導入し,ニューラルポリシ・グラディエント・アナログを開発した。 合成オラクルを用いた実験は、予測誤差の情報的プロキシとして不一致をサポートする。 保持されたデータでは、トレーニングされたポリシーは参照ポリシーを上回り、不一致しきい値を超えた比較数を増やし、託宣の好みを逆転させる。

関連論文リスト

• APAO: Adaptive Prefix-Aware Optimization for Generative Recommendation [26.371939617653084]
  生成レコメンデーションは自動回帰生成プロセスであり、ユーザインタラクション履歴に基づいて、次の項目の離散トークンを予測する。 既存の生成レコメンデーションモデルは、通常、クロスエントロピー損失のようなトークンレベルの可能性目標で訓練される。 標準的なトレーニングでは、推論中にビームサーチが低確率の分岐を産み出すという事実を無視して、地道の歴史が常に利用可能であると仮定している。
  論文  参考訳（メタデータ） (2026-03-03T08:29:15Z)
• Semiparametric Preference Optimization: Your Language Model is Secretly a Single-Index Model [43.74350307533018]
  我々は、未知の、制約のない複雑さの下で、嗜好に対するポリシーの整合性について研究する。 ニューラルネットワークとバッチデータに適した一階最適化を使用します。
  論文  参考訳（メタデータ） (2025-12-26T08:22:41Z)
• Inference-Time Policy Steering through Human Interactions [54.02655062969934]
  推論中、人間はしばしばポリシー実行ループから取り除かれる。 本稿では,人間のインタラクションを活用して生成するサンプリングプロセスにバイアスを与える推論時ポリシーステアリングフレームワークを提案する。 提案手法は,アライメントと分布シフトの最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2024-11-25T18:03:50Z)
• Sequential Manipulation Against Rank Aggregation: Theory and Algorithm [119.57122943187086]
  脆弱なデータ収集プロセスに対するオンライン攻撃を活用します。 ゲーム理論の観点からは、対決シナリオは分布的に堅牢なゲームとして定式化される。 提案手法は,ランクアグリゲーション手法の結果を逐次的に操作する。
  論文  参考訳（メタデータ） (2024-07-02T03:31:21Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• A Minimaximalist Approach to Reinforcement Learning from Human Feedback [49.45285664482369]
  人間のフィードバックから強化学習を行うアルゴリズムとして,SPO(Self-Play Preference Optimization)を提案する。 我々のアプローチは、報酬モデルや不安定な敵の訓練を必要としないという点で最小主義である。 我々は,一連の継続的制御タスクにおいて,報酬モデルに基づくアプローチよりもはるかに効率的に学習できることを実証した。
  論文  参考訳（メタデータ） (2024-01-08T17:55:02Z)
• Stackelberg Batch Policy Learning [3.5426153040167754]
  バッチ強化学習(RL)は、徹底的な探索を欠いた固定されたデータのバッチから学習するタスクを定義する。 ログ化された経験から値関数モデルクラスを校正する最悪ケース最適化アルゴリズムが,バッチRLの有望なパラダイムとして登場した。 そこで我々は,新たな勾配に基づく学習アルゴリズムStackelbergLearnerを提案する。
  論文  参考訳（メタデータ） (2023-09-28T06:18:34Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Pessimistic Off-Policy Optimization for Learning to Rank [13.733459243449634]
  オフ政治学習は、ポリシーをデプロイせずに最適化するためのフレームワークである。 レコメンデーションシステムでは、ログデータの不均衡のため、これは特に難しい。 我々は、ランク付け学習のための悲観的非政治最適化について研究する。
  論文  参考訳（メタデータ） (2022-06-06T12:58:28Z)
• Revisiting Membership Inference Under Realistic Assumptions [87.13552321332988]
  従来研究でよく用いられていた仮定のいくつかが緩和された環境での会員推定について検討する。 この設定は、研究者が通常考慮するバランスのとれた事前設定よりも現実的である。 我々は、トレーニングセットメンバーに対応する入力が損失関数の局所最小値に近いという直感に基づく新しい推論攻撃を開発する。
  論文  参考訳（メタデータ） (2020-05-21T20:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。