論文の概要: Steering Equilibrium Selection in Regularized Self-Play via the Reference Policy
- arxiv url: http://arxiv.org/abs/2609.19820v1
- Date: Thu, 17 Sep 2026 07:30:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.151999
- Title: Steering Equilibrium Selection in Regularized Self-Play via the Reference Policy
- Title（参考訳）: 基準ポリシによる正規化自己プレーにおけるステアリング平衡選択
- Abstract要約: セルフプレイは2つのプレイヤーゼロサムポリシーをナッシュ均衡に駆動する。
一様参照で、最大等エントロピー部材を選択する。
基準は、目的に応じて均衡を選択するために使用できますか?
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Regularized self-play -- the family behind DeepNash's Stratego play -- drives a two-player zero-sum policy to a Nash equilibrium by best-responding to a slowly moving, entropy-regularized reference policy $ρ$. When the game has a polytope of value-equivalent equilibria, the regularizer silently breaks the tie: with a uniform reference it selects the maximum-entropy member, the I-projection of $ρ$ onto the Nash set. Can the reference be used to choose the equilibrium on purpose? On five exactly solvable games plus a 2-D polytope, with exact best responses and equivalence tests over independent seeds, anchoring the reference at a target member and refining steers self-play to that member with mean coordinate error 0.007 at median exploitability $5\times10^{-5}$, TOST-equivalent to the request within $\pm0.05$; the anchoring persists through refinement and follows the reference, not the initialization. Selection follows the reach-weighted I-projection (slope 0.969 [0.950, 0.987]). We report with equal emphasis where the story breaks: fixed off-manifold references cost 0.08-0.25 exploitability; stiff or flat families require a smaller mirror step, set by a pre-registered rule; boundary targets undershoot; curvature predicts where boundary saturation bites (rank correlation 0.90, p=0.037) while interior precision is curvature-independent. Table and MLP steering maps are equivalent within $\pm0.03$ at every target (30 seeds); matched control arms show attention's robust signature is excess seed variance, any systematic shift bounded at 0.018 and not significant. Against a best response the selection-robustness trade-off is degenerate: steering matters only against fixed, non-equilibrium opponents. The recipe -- anchor the reference at the desired member and refine -- reinterprets the KL anchor of RLHF-style RL as a selection knob, not only a stability leash.
- Abstract（参考訳）: ディープナッシュのストラテゴ・プレイのファミリーである正規化されたセルフプレイは、ゆっくりと動き、エントロピーの規則化された参照ポリシーである$ρ$に対応して、2人のプレイヤーのゼロサム政策をナッシュ均衡に推し進める。
ゲームが値等価平衡のポリトープを持つとき、正規化器は静かにネクタイを破り、一様参照で最大エントロピー要素、$ρ$のI-投影をナッシュ集合に選択する。
基準は、目的に応じて均衡を選択するために使用できますか?
正確に解ける5つのゲームと2-Dポリトープでは、正確な最良の反応と独立種に対する等価性テストがあり、基準を目標メンバーに固定し、平均座標誤差 0.007 で平均座標誤差 0.007 を中央攻撃性 5\times10^{-5}$, TOST と同値で、$\pm0.05$ 以内の要求に等価である。
セレクションはリーチ重み付きI-プロジェクション(斜面0.969 [0.950, 0.987])に従う。
固定されたオフマンフォールド参照のコストは0.08-0.25であり、剛体または平坦なファミリーは、事前登録されたルールによって設定されたより小さなミラーステップを必要とし、境界目標のアンダーシュート、曲がりは、内部精度が曲率非依存である間に境界飽和が噛まれる場所(ランク相関0.90, p=0.037)を予測する。
テーブルとMLPのステアリングマップは、すべてのターゲット(30種)において$\pm0.03$の範囲内で等価である。
最良の反応に対して、選択ロバスト性トレードオフは縮退し、固定された非平衡相手に対してのみ対処する。
RLHFスタイルのRLのKLアンカーは、安定的なレッシュだけでなく、選択ノブとして再解釈される。
関連論文リスト
- Adaptive operator-generated subspaces for effective many-body Hamiltonians [0.0]
適応型Clifford-Algebra Subspacesolver (A-CASE) について述べる。
オーバーラップ、ハミルトン、観測可能、および応答行列は、共通のパウリ観測バンクから再構成される。
グループ化された反復は、しきい値、ルートマッチング、スペクトル重み、感受性、拡張を通じて有限ショットの変動を伝播する。
論文 参考訳（メタデータ） (2026-08-01T09:51:25Z) - The Curvature Shadow: An Apparent Failure of Maximum-Entropy Equilibrium Selection is a Removable Artifact [0.0]
正規化ナッシュダイナミクス(R-NaD)は、最大エントロピー部材を経験的に選択する。
クーンポーカー R-NaD ではブラフ座標 0.180 で着陸し、最大エントロピー成分は 0.201 で座標ギャップは約 0.021 である。
一次元ナッシュ多様体上での選択に対して、座標ギャップは$mathrmgap approx sqrt2/$と分解され、$$は解のエントロピー不足である。
論文 参考訳（メタデータ） (2026-07-20T04:38:25Z) - GARIP: A Running-Average Moving Reference for Last-Iterate Self-Play in Two-Player Zero-Sum Games [0.0]
ランニング平均に固定するGARIPについて検討し、参照制御の選択を分離する。
我々の中心的な結果は、崩壊が基準のピークラグを追跡するメカニズムであり、固定平均ラグの因果凸平均のうち、ランニング平均はそのピークを一意に最小化する。
論文 参考訳（メタデータ） (2026-06-21T22:08:00Z) - Displacement Is Not Direction: Evaluating Fidelity Metrics for Quantized LLM Deployment [0.7249731529275342]
高精度参照に対するKL偏差(KLD)のような忠実度指標は、ベンチマーク品質の低コストプロキシとして実際に使用されることが多い。
KLDは全コホートに対するベンチマークスコアと強く相関していることがわかった。
しかし、この関係は、ほぼベースラインのサイレントゾーンにおいて非重要な状態に崩壊する。
論文 参考訳（メタデータ） (2026-06-17T19:59:26Z) - Reinforcement Learning Trained Observer Control for Bearings-Only Tracking [0.9167082845109437]
本稿では、自律型ベアリングのみの移動目標追跡のための強化学習に基づくオブザーバ制御ポリシーを開発する。
報酬関数は、絶対目標位置推定誤差の最小化とCKF推定一貫性の維持という、2つの矛盾する目標に対処するように設計されている。
その結果、DQNの$0.7ドルのポリシーは、正確性と堅牢性の間の最良のトレードオフを達成していることがわかった。
論文 参考訳（メタデータ） (2026-05-04T00:55:14Z) - See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection [51.59559387222532]
エンドツーエンド自動運転の最近の進歩は、パッチアライメント機能で訓練されたポリシーが、アウト・オブ・ディストリビューション(OOD)よりも一般化していることを示している。
我々は、より堅牢で、一般化可能で、効率的な学習ポリシーのためのシンプルで効果的なアプローチである2.4-Patch-Selection(SPS)を提案する。
論文 参考訳（メタデータ） (2026-01-15T18:58:33Z) - RSPO: Regularized Self-Play Alignment of Large Language Models [54.593523736962]
Regularized Self-Play Policy Optimization (RSPO) は、事前のメソッドを統一し、様々な正規化ツールのプラグイン・アンド・プレイ統合を可能にする汎用的でモジュール化されたフレームワークである。
20ドル以上の微調整Mistral-7B-Instructモデルに関する実証研究により、前方KL偏差正規化は応答長を減少させる一方、逆KL偏差は生の利得率を著しく向上させることが明らかとなった。
論文 参考訳（メタデータ） (2025-02-24T22:43:21Z) - Theoretical guarantees on the best-of-n alignment policy [110.21094183592358]
我々は、KLの最良のn$ポリシーと参照ポリシーのKL分岐が、実際のKL分岐の上限であることを示す。
そこで本研究では,KLの発散に対する新しい推定器を提案し,その近似が厳密であることを実証的に示す。
我々は、利益率とKLの最良のn$アライメントポリシーの相違点を分析することで締めくくった。
論文 参考訳（メタデータ） (2024-01-03T18:39:13Z) - Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret
Learning in Markov Games [95.10091348976779]
我々はマルコフゲームにおいて、非定常的でおそらく敵対的な相手と遊べる単一のエージェントを制御する分散ポリシー学習について研究する。
我々は、新しいアルゴリズム、アンダーラインデ集中型アンダーラインハイプラインRpolicy munderlineIrror deunderlineScent (DORIS)を提案する。
DORISは、一般的な関数近似の文脈で$sqrtK$-regretを達成する。
論文 参考訳（メタデータ） (2022-06-03T14:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。