論文の概要: The Convention Gap: Towards Measuring Implicit Communication in Cooperative AI Evaluation
- arxiv url: http://arxiv.org/abs/2609.11489v2
- Date: Fri, 11 Sep 2026 05:18:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.474026
- Title: The Convention Gap: Towards Measuring Implicit Communication in Cooperative AI Evaluation
- Title（参考訳）: コンベンションギャップ:AIの協調評価における不必要なコミュニケーションの測定に向けて
- Abstract要約: 本稿では,通信のリテラル内容から予測される故障確率と,観測された故障率との差であるコンベンションギャップを提案する。
カードゲーム「はなび」では、有限デッキと決定論的ヒント制約が、この後続を正確に計算可能である。
AI-AIのパフォーマンスではなく、コンベンションの互換性が、AIが人間のパートナーと有効であることを予測できることを示します。
- 参考スコア（独自算出の注目度）: 3.3765704035398456
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cooperative AI agents are evaluated against other AIs, yet human cooperation relies on implicit conventions -- shared protocols for reading meaning beyond the literal message -- which AI-AI benchmarks may not capture. We propose the convention gap, the difference between the failure probability predicted from the literal content of communication and the observed failure rate, as a metric of implicit communication. In the card game Hanabi, the finite deck and deterministic hint constraints make this posterior exactly computable. We replayed about 101,000 play actions from three public datasets of human-human (an online Hanabi platform), AI-AI (HOAD), and human-AI (HanabiData) games. The gap was +26.2 percentage points (pp) in human pairs, -0.7 pp in AI pairs, and +16.4 pp in human-AI pairs, and was concentrated on plays of cards that had received no hints (+46 pp in human pairs). Within human-AI play, the literal information available to humans was similar across the three AI partners (mean predicted failure 38-41%), but human failure rates ranged from 14.4% to 34.4% and the gap from +24.1 to +6.2 pp; the partner eliciting the largest gap produced the fewest human failures. Game score carried different information: it depended on each corpus's roster composition, whereas the gap separated human from AI play at the agent level. As a known-answer check, Off-Belief Learning agents, whose convention content is controlled by construction, gave a gap of +1.6 pp at the convention-free level, rising monotonically to +21.7 pp. These results suggest that convention compatibility, rather than AI-AI performance, may predict an AI's effectiveness with human partners.
- Abstract（参考訳）: 協力的なAIエージェントは、他のAIに対して評価されるが、人間の協力は暗黙の慣行、つまりAI-AIベンチマークが捉えないリテラルメッセージを超えて意味を読むための共有プロトコルに依存している。
本稿では、暗黙的なコミュニケーションの指標として、コミュニケーションのリテラル内容から予測される失敗確率と観測された失敗率との差であるコンベンションギャップを提案する。
カードゲーム「はなび」では、有限デッキと決定論的ヒント制約が、この後続を正確に計算可能である。
私たちは、人間(オンラインハナビプラットフォーム)、AI-AI(HOAD)、人間AI(ハナビデータ)の3つの公開データセットから、約10万1000のプレイアクションを再生しました。
ギャップはAI対では+26.2ポイント(pp)、AI対では-0.7pp、AI対では+16.4ppであり、ヒントのないカードのプレイに集中していた(+46pp)。
人間-AIのプレイでは、人間に利用可能なリテラル情報は3つのAIパートナー(平均38-41%の失敗)間で類似していたが、人間の失敗率は14.4%から34.4%、+24.1から+6.2ppのギャップがあり、最大のギャップを引き出すパートナーは最も少ない失敗を生み出した。
ゲームスコアは、各コーパスのロースター構成に依存しているのに対して、エージェントレベルでは人間とAIのプレイが切り離されている。
既知の回答チェックとして、コンベンションの内容が建設によって制御されているオフビリーフ学習エージェントは、コンベンションフリーレベルで+1.6 ppのギャップを与え、単調に+21.7 ppまで上昇した。
これらの結果は、AI-AIのパフォーマンスよりもコンベンションの互換性が、AIが人間のパートナーと有効性を予測することを示唆している。
関連論文リスト
- The Boundaries of Automation: A Theory of Persistent Human Participation [107.84677954791773]
高い能力を持つAIシステムであっても、人間の参加は継続する可能性がある、と私たちは主張する。
一部のアクティビティでは、ターゲットは事前に完全に指定されるのではなく、代わりにインタラクション自体を通じて現れる。
この観点は、自動化の限界に重要な意味を持つ。
論文 参考訳（メタデータ） (2026-07-23T17:33:43Z) - AI, Take the Wheel: What Drives Delegation and Trust in Human-Computer Cooperative Question Answering? [22.50855320823746]
人間は自分の判断よりもAIを信頼するかを決める際に間違いを犯すことがある。
我々は、デリゲート選択と採用選択の2つの異なる依存度決定について研究する。
人間は、正しいAI提案を過度に検討し、AIがそれらを誤解した場合に過度に回答するという、最適なコラボレーション決定をする。
論文 参考訳（メタデータ） (2026-05-27T10:05:16Z) - On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳（メタデータ） (2026-05-20T03:33:55Z) - Toward Human-AI Complementarity Across Diverse Tasks [3.6671496239276475]
人間とAIの相補性は、人間とAIの判断を組み合わせることが、単独でより優れているという考え方である。
本研究では,現実的なタスクにおいて人間とAIの相補性が達成できるかどうかを考察する。
微妙な相補性の増加しか見つからない。
論文 参考訳（メタデータ） (2026-04-13T07:24:18Z) - Hallucination vs interpretation: rethinking accuracy and precision in AI-assisted data extraction for knowledge synthesis [0.9898534984111934]
我々は,大規模言語モデル(LLM)を用いてデータ抽出を自動化する抽出プラットフォームを開発した。
我々は、AIを187の出版物で人間の反応と比較し、スコーピングレビューから17の質問を抽出した。
AIの多様性は幻覚よりも解釈可能性に依存している。
論文 参考訳（メタデータ） (2025-08-13T03:33:30Z) - Humans learn to prefer trustworthy AI over human partners [0.7049575025146246]
我々は、最先端のLDMを用いた人間とロボットのハイブリッドミニ社会におけるダイナミクスについて検討した。
ボットのアイデンティティが隠された時点では、ボットは優先的に選択されないことがわかった。
ボットのアイデンティティの開示は、ボットが最初に選択される確率を減らし、徐々に人間に勝るようになるという二重効果を引き起こした。
論文 参考訳（メタデータ） (2025-07-17T20:24:26Z) - Ad-Hoc Human-AI Coordination Challenge [6.933020756939985]
本稿では,費用がかかる人的評価の制約を克服するために,Ad-Hoc Human-AI Coordination Challenge (AH2AC2)を導入する。
我々は、堅牢で安価で再現可能な人間のような評価パートナーとして機能する大規模な人的データセット上に、テキスト・ヒューマン・プロキシー・エージェントを開発する。
論文 参考訳（メタデータ） (2025-06-26T17:19:52Z) - Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated [48.70176791365903]
本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。
ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
論文 参考訳（メタデータ） (2024-09-29T04:31:45Z) - PECAN: Leveraging Policy Ensemble for Context-Aware Zero-Shot Human-AI
Coordination [52.991211077362586]
本研究では,集団におけるパートナーの多様性を高めるための政策アンサンブル手法を提案する。
そこで我々は,egoエージェントがパートナーの潜在的ポリシープリミティブを分析し,識別するためのコンテキスト認識手法を開発した。
このようにして、エゴエージェントは多様なパートナーとの共同作業において、より普遍的な協調行動を学ぶことができる。
論文 参考訳（メタデータ） (2023-01-16T12:14:58Z) - Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。
次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。
模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
論文 参考訳（メタデータ） (2022-11-23T16:16:52Z) - CommonsenseQA 2.0: Exposing the Limits of AI through Gamification [126.85096257968414]
現代自然言語理解モデルの能力をテストするベンチマークを構築した。
本研究では,データ構築の枠組みとしてゲーミフィケーションを提案する。
論文 参考訳（メタデータ） (2022-01-14T06:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。