論文の概要: A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry
- arxiv url: http://arxiv.org/abs/2607.00155v1
- Date: Tue, 30 Jun 2026 20:30:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.62494
- Title: A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry
- Title（参考訳）: 2次元情報非対称性を持つコンテキスト境界オーバーサイトゲーム
- Abstract要約: 我々は、プライベート情報が両方の方向に流れるとき、AIエージェントのランタイムヒューマン監視について研究する。
これは、自律ロボットやソフトウェアエージェントが人間の監督者が直接評価できない状況を検査した時に自然に発生する非対称性の一種である。
両面の非対称情報とプレイ/アズク/トラスト/オーバーシーインタフェースを備えたコンテキストバンド型チームゲームを導入する。
- 参考スコア（独自算出の注目度）: 0.3384279376065155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study runtime human oversight of an AI agent when private information runs in both directions: the human privately knows her reward function, while the AI privately knows the quality of the action it proposes. This is the kind of asymmetry that arises naturally when an autonomous robot or software agent has inspected a situation its human supervisor cannot directly assess. Building on Cooperative Inverse Reinforcement Learning (CIRL) and the Oversight Game, we introduce a contextual-bandit team game with two-sided asymmetric information and a play/ask/trust/oversee interface. The bandit structure removes physical state transitions and thereby yields exact one-shot characterizations that would remain conjectural in the full POMDP setting, though the common belief remains a dynamically controlled state across rounds. We give two one-shot characterizations, a team optimum and a behaviorally natural myopic rule, whose gap is a slab of avoidable harm: a region in which the AI privately knows the proposed action is harmful and shutdown would help, yet a myopic human, trusting her prior, declines to oversee. We show this gap is the price of non-credible oversight communication, and give a partial analysis of how it resolves dynamically over repeated rounds through passive learning and active signaling with a one-period-lagged oversight response.
- Abstract（参考訳）: プライベート情報が両方の方向に走るとき、AIエージェントのランタイムヒューマン監視を研究する。人間は報酬関数をプライベートに、AIは提案するアクションの質をプライベートに知る。
これは、自律ロボットやソフトウェアエージェントが人間の監督者が直接評価できない状況を検査した時に自然に発生する非対称性の一種である。
協調的逆強化学習(CIRL)とオーバーサイトゲーム(Oversight Game)に基づいて,両面の非対称情報とプレイ/アズク/トラスト/オーバーシーインターフェースを備えたコンテキスト帯チームゲームを導入する。
バンディット構造は物理的状態遷移を除去し、それによって完全なPOMDP設定で射影的のままの正確な一発的特徴を与えるが、共通の信念はラウンド全体にわたって動的に制御された状態のままである。
AIは、提案されたアクションが有害であり、シャットダウンが役立つことをプライベートに知る領域であり、しかし、彼女の以前のことを信頼する筋電図の人間は、監督を辞退する。
このギャップは、非クレディブルな監視通信の価格であり、受動的学習と1周期の監視応答によるアクティブシグナリングを通じて、繰り返しラウンドで動的に解決する方法を部分的に分析する。
関連論文リスト
- ComBodied Agents: a New Paradigm of Human-Centric Agentic AI [121.60938707072069]
我々は、人間中心のパラダイムであるCombodied Agentsを紹介し、時間とともに個々の人間状態の軌跡を知覚し、モデル化し、予測し、支援する。
パーソナルアシスタント、ヘルスエージェント、AIコンパニオン、適応型ヒューマンAIシステムをクローズドループに統合する。
論文 参考訳（メタデータ） (2026-08-11T13:35:58Z) - Runtime Action Interference for AI Control of AlphaStar in StarCraft II [20.538398143098117]
アクションペーシングを規制し、設定されたアクションパターンをフィルタリングしながら、ポリシーパラメータを保存するAI制御機構であるEmphruntime Action interference (RAI)にコントリビュートする。
RAIは、条件が満たされ、内容検出器がアクションをフラグしない場合にのみ、提案されたアクションを解放する。
我々の人間による評価は、RAIを介して制御される相手の知覚が、ユーザに提示される能力情報と大きく異なることを示す。
論文 参考訳（メタデータ） (2026-08-05T16:58:26Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - The Oversight Game: Learning to Cooperatively Balance an AI Agent's Safety and Autonomy [9.553819152637493]
エージェントが自律的に行動するか(プレイ)それとも延期するかを選択できる最小限の制御インタフェースについて検討する。
エージェントがフェールした場合、人間の選択によって結果が決定され、修正アクションやシステム停止につながる可能性がある。
本分析では,アライメント保証を提供するゲームクラスであるMarkov Potential Game (MPG) として,このゲームが適するケースに着目した。
論文 参考訳（メタデータ） (2025-10-30T17:46:49Z) - Observation Interference in Partially Observable Assistance Games [34.53170543153206]
我々は,人間とAIアシスタントが部分的な観察を行うことを可能にする,人間-AI値アライメント問題のモデルについて検討する。
最適なアシスタントは、人間が最適に演奏している場合でも、観察干渉行動をとる必要がある。
不合理性のボルツマンモデルに従えば、これはアシスタントが観察に干渉するインセンティブを生じさせることが示される。
論文 参考訳（メタデータ） (2024-12-23T18:53:33Z) - The Partially Observable Off-Switch Game [7.567880819525154]
さまざまな目標を達成すれば、AIがオフスイッチを無効にできる可能性がある。
非対称情報を用いた閉鎖問題のゲーム理論モデルであるPartially Observable Off-Switch Game (PO-OSG) を導入する。
最適なプレイでは、完全に合理的な人間を支援するAIエージェントでさえ、シャットダウンを避けることがある。
論文 参考訳（メタデータ） (2024-11-25T14:09:48Z) - Stochastic Principal-Agent Problems: Efficient Computation and Learning [25.637633553882985]
プリンシパルとエージェントは環境の中で相互作用し、それぞれが互いに利用できない状態に関する観察を行う。
このモデルは、特殊ケースワイドフォームゲーム(EFG)を包含し、マルコフ決定プロセス(POMDP)のゲームにアプローチする。
遷移確率が未知のエピソード強化学習環境において,効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-06T16:20:44Z) - When to Ask for Help: Proactive Interventions in Autonomous
Reinforcement Learning [57.53138994155612]
強化学習の長期的な目標は、世界で自律的に対話し学習できるエージェントを設計することである。
重要な課題は、ロボットアームが物体をテーブルから押し出したときなど、外部からの援助を必要とする不可逆状態の存在である。
本研究では,非可逆状態の検出と回避を効率よく学習し,エージェントが侵入した場合に積極的に支援を求めるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-19T17:57:24Z) - Formalizing the Problem of Side Effect Regularization [81.97441214404247]
本稿では,補助ゲームフレームワークを用いたサイドエフェクト正規化のための公式な基準を提案する。
これらのゲームでは、エージェントは部分的に観測可能なマルコフ決定プロセスを解決する。
このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。
論文 参考訳（メタデータ） (2022-06-23T16:36:13Z) - A New Bandit Setting Balancing Information from State Evolution and
Corrupted Context [52.67844649650687]
本稿では,2つの確立されたオンライン学習問題と包括的フィードバックを組み合わせた,逐次的意思決定方式を提案する。
任意の瞬間にプレーする最適なアクションは、エージェントによって直接観察できない基礎となる変化状態に付随する。
本稿では,レフェリーを用いて,コンテキストブレイジットとマルチアームブレイジットのポリシーを動的に組み合わせるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-11-16T14:35:37Z) - Signaling in Bayesian Network Congestion Games: the Subtle Power of
Symmetry [66.82463322411614]
本論文は, 最適遠点透過型シグナリング方式の問題点に焦点をあて, 対称性がその解法において重要な性質であることを示す。
プレイヤーが対称でアフィンコスト関数を持つとき,最適なエクアント説得スキームが計算可能であることを示す。
論文 参考訳（メタデータ） (2020-02-12T19:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。