論文の概要: Robust Nash Alignment under Preference Uncertainty

• arxiv url: http://arxiv.org/abs/2610.00715v1
• Date: Wed, 30 Sep 2026 21:05:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.766906
• Title: Robust Nash Alignment under Preference Uncertainty
• Title（参考訳）: 不確実性を考慮したロバストナッシュアライメント
• Abstract要約: 本稿では,不確実なペアワイズ選好に対応するゲーム理論フレームワークを提案する。 我々の定式化には、敵の競争相手と、名目上の選好に設定されたあいまいさにある任意の選好カーネルの両方に対して、最悪の勝利率の高い政策を求める主要な学習者がいる。 提案手法では, 常に制約された目標を下界させ, プロキシとハードのギャップを定量化し, プロキシが頑健な目標を回復する正当性条件を特徴付ける。
• 参考スコア（独自算出の注目度）: 9.936051338654401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Preference-based alignment methods typically optimize against a single preference model, and can therefore be brittle when pairwise preferences are uncertain: noisy, heterogeneous, or shift after deployment. To address these issues, we propose Robust Nash Alignment, a game-theoretic framework for alignment to uncertain pairwise preferences. Our formulation has a major learner seeking a policy with a large worst-case win rate against both an adversarial competitor and any preference kernel lying in an ambiguity set around a nominal preference. When the ambiguity set captures the uncertainty in preferences, the resulting robust objective of the game directly yields a certified lower bound on worst-case performance. However, we note this problem is computationally challenging to optimize, and to address this, we introduce a four-player primal-dual proxy game involving the leader policy, follower policy, adversarial kernel, and dual variable, and develop a single-loop optimistic mirror descent-ascent algorithm for it. We show that the proxy always lower-bounds the truncated hard-constrained objective, quantify the proxy-to-hard gap, and characterize an exactness condition under which the proxy recovers the robust objective. We then prove an \(\mathcal{O}(1/\sqrt{T})\) average-iteration convergence for the proxy-game duality gap, which implies a near-optimal robust policy for the original robust objective. Experiments on controlled tabular games and LLM alignment with uncertain preference further validate the convergence theory and show improved performance over nominal baselines.
• Abstract（参考訳）: 優先ベースのアライメント手法は、通常、単一の選好モデルに対して最適化されるため、ペアの選好が不確実である場合(ノイズ、異質、デプロイ後のシフト)は脆弱である。 これらの問題に対処するために,不確実なペアの選好に対応するゲーム理論フレームワークであるRobust Nash Alignmentを提案する。 我々の定式化には、敵の競争相手と、名目上の選好に設定されたあいまいさにある任意の選好カーネルの両方に対して、最悪の勝利率の高い政策を求める主要な学習者がいる。 あいまいさセットが選好の不確実性を捕捉すると、ゲームの結果の堅牢な目的は、最悪の場合のパフォーマンスに関する証明された低い境界を直接得る。 しかし,この問題は計算的に最適化が困難であることに留意し,これに対応するために,リーダポリシ,従者ポリシ,逆カーネル,デュアル変数を含む4人プレイのプリミティブ・デュアルプロキシゲームを導入し,単一ループの楽観的なミラー降下アルゴリズムを開発した。 提案手法では, 常に制約された目標を下界させ, プロキシとハードのギャップを定量化し, プロキシが頑健な目標を回復する正当性条件を特徴付ける。 次に、プロキシゲーム双対性ギャップに対する \(\mathcal{O}(1/\sqrt{T})\) 平均点収束性を証明する。 制御された表形式ゲームとLLMアライメントの不確かさによる実験は、収束理論をさらに検証し、名目ベースラインよりも優れた性能を示す。

関連論文リスト

• Probably Correct Optimal Stable Matching under Two-Sided Uncertainty [10.205814220900981]
  両面の嗜好が不明な二面市場における安定マッチングの逐次学習問題について検討する。 我々は,最適な安定マッチングを高い確率で効率的に同定することを目的とした,純粋な探索的視点を採用する。 本稿では,学習した部分的嗜好の構造を利用した削除基準に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-07-06T08:57:30Z)
• DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding [59.16244104797919]
  本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。 DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。 アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
  論文  参考訳（メタデータ） (2026-03-09T09:21:29Z)
• Non-Rectangular Average-Reward Robust MDPs: Optimal Policies and Their Transient Values [11.174902793218834]
  非矩形ロバストマルコフ決定過程を平均逆基準下で研究する。 あいまいさの集合に対して一様に、サブリニアな後悔を達成できる歴史に依存した政策が、頑健な最適化であることを示す。
  論文  参考訳（メタデータ） (2026-03-01T06:29:34Z)
• Pure Exploration via Frank-Wolfe Self-Play [9.025261095806309]
  我々は、有限個の代替案から正しい仮説を効果的に同定することを目的として、構造化された多腕包帯の純粋な探索について研究する。 我々の分析は連続時間ステア(英語版)を通し、減衰するリャプノフ函数との微分包含は、失効する双対性ギャップと最適値への収束を示唆する。
  論文  参考訳（メタデータ） (2025-09-24T08:55:21Z)
• Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality [53.525547349715595]
  我々はRectified Robust Policy Optimization (RRPO) と呼ばれる新しいプライマリのみのアルゴリズムを提案する。 RRPOは双対の定式化に頼ることなく、主問題に直接作用する。 我々は、最もよく知られた下界と一致する複雑性を持つ、ほぼ最適な実現可能なポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2025-08-24T16:59:38Z)
• Robust Satisficing Gaussian Process Bandits Under Adversarial Attacks [7.701333337093469]
  そこでは、敵条件下であっても、事前に定義された性能閾値$tau$を一貫して達成することが目標である。 本稿では,頑健な充足の異なる定式化に基づく2つの新しいアルゴリズムを提案し,それらが一般的な頑健な充足フレームワークの例であることを示す。 具体的には、2つの残念な境界を導き出す: 1つは、敵の特定の条件と満足しきい値$tau$を仮定し、もう1つは摂動の規模でスケールするが、敵の仮定を必要としない。
  論文  参考訳（メタデータ） (2025-06-02T13:04:18Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。