論文の概要: Context-dependent agent evaluation with orthogonal equilibrium learning
- arxiv url: http://arxiv.org/abs/2609.31897v1
- Date: Fri, 25 Sep 2026 18:34:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 04:50:56.385369
- Title: Context-dependent agent evaluation with orthogonal equilibrium learning
- Title（参考訳）: 直交平衡学習を用いた文脈依存エージェント評価
- Abstract要約: オフラインフィードバックからこのような文脈依存エージェントの評価を行う方法について検討する。
社会的選択理論に触発されて、我々は2人のプレイヤー間のコンテキストゲームとして評価を行う。
我々は、文脈平衡学習のための一般的なフレームワークであるNashEvalを提案する。
- 参考スコア（独自算出の注目度）: 35.445165987070446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many applications require to evaluate agents under contextual information (e.g., a prompt, task, or user group). We study how to perform such context-dependent agent evaluation from offline feedback. Existing score-based models for this purpose (e.g., Bradley-Terry) impose a transitive preference ordering, which fails to reflect collective preferences when human judgements are heterogeneous. Inspired by social choice theory, we frame evaluation as a contextual game between two players, each selecting a distribution over agents as the strategy to receive greater collective preference than the other. Then, the support of the Nash equilibrium defines a context-specific set of winners. However, learning context-specific equilibria from offline logs is difficult because each context reveals human feedback on only a subset of agents, and, hence, a naive plug-in estimator can therefore be biased. To address these challenges, we propose NashEval, a general framework for robust contextual equilibrium learning. NashEval first constructs debiased estimates of the contextual payoff matrix that characterizes the game. NashEval then learns the context-to-equilibrium mapping with a tailored orthogonal loss, which avoids the need to solve a separate game for each context. We show theoretically that errors in estimating the nuisance functions underlying the payoff matrix affect the risk of the learned equilibrium (i.e., exploitability) only through higher-order terms. Across various experiments, NashEval improves robustness of equilibrium learning and consistently identifies the set of top-performing agents across contexts.
- Abstract（参考訳）: 多くのアプリケーションは、コンテキスト情報(例えば、プロンプト、タスク、ユーザグループ)の下でエージェントを評価する必要がある。
オフラインフィードバックからこのような文脈依存エージェントの評価を行う方法について検討する。
この目的のために既存のスコアベースのモデル(例えばBradley-Terry)は推移的な選好順序付けを課し、これは人間の判断が不均一であるときに集団的選好を反映しない。
社会的選択理論に触発されて、我々は2人のプレイヤー間の文脈ゲームとしての評価を枠組み化し、それぞれがエージェントよりも多くの集団的嗜好を受ける戦略としてエージェントよりも分布を選択する。
そして、ナッシュ均衡の支持は、文脈固有の勝者の集合を定義する。
しかしながら、オフラインログからコンテキスト固有の平衡を学習することは、各コンテキストがエージェントのサブセットのみに対する人間のフィードバックを明らかにするため困難である。
これらの課題に対処するため、我々は、堅牢な文脈平衡学習のための一般的なフレームワークであるNashEvalを提案する。
NashEvalはまず、ゲームの特徴を特徴づける文脈的ペイオフ行列のバイアス付き見積もりを構成する。
その後、NashEvalは直交損失を調整したコンテキスト対平衡写像を学習し、それぞれのコンテキストに対して別のゲームを解決する必要がなくなる。
ペイオフ行列の根底にあるニュアンス関数を推定する誤差は、高次項を通してのみ学習された平衡(すなわち、悪用可能性)のリスクに影響を与えることを理論的に示す。
様々な実験において、NashEvalは平衡学習の堅牢性を改善し、コンテキストをまたいだトップパフォーマンスエージェントの集合を一貫して識別する。
関連論文リスト
- Multiperspectivity as a Resource for Narrative Similarity Prediction [5.242380995471618]
同じテキストの異なる、等しく有効な読解は、異なる解釈を生じさせ、したがって異なる類似性判断を生じさせる。
本稿では,予測システムの意思決定プロセスに,このマルチスペクティビティを取り入れることを提案する。
実験はSemEval-2026 Task 4で行われ、精度は0.705。
論文 参考訳（メタデータ） (2026-03-23T15:32:40Z) - Pruning as a Game: Equilibrium-Driven Sparsification of Neural Networks [1.1458853556386799]
我々は、継続参加が均衡において支配的な戦略となると、スパシティが自然に現れることを示す。
ネットワークパラメータと参加変数を明示的な重要度スコアに頼らずに共同で更新する,単純な平衡駆動型プルーニングアルゴリズムを導出する。
論文 参考訳（メタデータ） (2025-12-26T18:25:38Z) - Wisdom of Crowds Through Myopic Self-Confidence Adaptation [1.1060425537315088]
群衆の知恵は、集団の集団的判断や決定が集団メンバーの個人的判断や決定よりも正確であることを示す現象の包括的用語である。
本稿では,まず,世界の共通状態を非相関的かつ非バイアス的に測定するエージェントのグループについて考察する。
これらのエージェントは、フレンチ・デグルート力学(英語版)または反復的な意見プール(英語版)として社会学でよく知られる単純な非ベイズ学習規則に従って、見積もりを反復的に更新する。
論文 参考訳（メタデータ） (2025-06-22T22:55:17Z) - Offline Learning in Markov Games with General Function Approximation [22.2472618685325]
マルコフゲームにおけるオフラインマルチエージェント強化学習(RL)について検討する。
マルコフゲームにおけるサンプル効率のよいオフライン学習のための最初のフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-06T05:22:27Z) - Game-Theoretical Perspectives on Active Equilibria: A Preferred Solution
Concept over Nash Equilibria [61.093297204685264]
マルチエージェント強化学習における効果的なアプローチは,エージェントの学習プロセスを検討し,今後の政策に影響を与えることである。
この新たな解の概念は、ナッシュ均衡のような標準解の概念が活性平衡の特別な場合である、という一般的なものである。
我々は,ゲーム理論の観点から,ナッシュ平衡が知られている実例を綿密に研究することにより,アクティブ平衡を解析する。
論文 参考訳（メタデータ） (2022-10-28T14:45:39Z) - Balanced Q-learning: Combining the Influence of Optimistic and
Pessimistic Targets [74.04426767769785]
シナリオによっては、特定の種類の偏見が好ましいかもしれないことを示す。
そこで我々は,目標を悲観的かつ楽観的な用語の凸組合せに修正した新しい強化学習アルゴリズムであるBa balanced Q-learningを設計する。
論文 参考訳（メタデータ） (2021-11-03T07:30:19Z) - Learning Equilibria in Matching Markets from Bandit Feedback [139.29934476625488]
不確実性の下で安定した市場成果を学習するためのフレームワークとアルゴリズムを開発する。
私たちの研究は、大規模なデータ駆動の市場において、いつ、どのように安定したマッチングが生じるかを明らかにするための第一歩を踏み出します。
論文 参考訳（メタデータ） (2021-08-19T17:59:28Z) - Equity-Directed Bootstrapping: Examples and Analysis [3.007949058551534]
エクイティ指向のブートストラップがテストセットの感度と特異性を、同等のオッズ基準を満たすためにいかに近づけるかを示す。
ナイーブベイズとロジスティックレグレッションの文脈で、私たちは、エクイティ指向のブートストラップを分析し、オッズ比を1に近いものにすることで機能することを示した。
論文 参考訳（メタデータ） (2021-08-14T22:09:27Z) - Sample-Efficient Learning of Stackelberg Equilibria in General-Sum Games [78.65798135008419]
一般的なゲームでStackelberg平衡を効率的に学習する方法は、サンプルから非常にオープンなままです。
本稿では,2プレーヤターンベース汎用ゲームにおけるStackelberg平衡のサンプル効率学習に関する理論的研究を開始する。
論文 参考訳（メタデータ） (2021-02-23T05:11:07Z) - On Information Asymmetry in Competitive Multi-Agent Reinforcement
Learning: Convergence and Optimality [78.76529463321374]
協調的でない2つのQ-ラーニングエージェントの相互作用システムについて検討する。
この情報非対称性は、集団学習の安定した結果をもたらす可能性があることを示す。
論文 参考訳（メタデータ） (2020-10-21T11:19:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。