論文の概要: QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents
- arxiv url: http://arxiv.org/abs/2605.27068v1
- Date: Tue, 26 May 2026 14:19:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.215389
- Title: QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents
- Title（参考訳）: QUICK:マルチモーダル・ソーシャル・ドダクション・エージェントにおけるコミュニケーション知識の質問・理解・監査
- Abstract要約: QUACKはマルチモーダルな社会的推論におけるエージェント言語の基礎を監査するための評価フレームワークである。
エンジンログから各エージェントの基幹軌道を再構築し、それに対するすべての議論のクレームをチェックする。
最強のエージェントでさえ、検証可能な空間的主張の15.1%を幻覚させ、根拠のない証拠なしに告発の半数以上を犯している。
- 参考スコア（独自算出の注目度）: 38.13248430205106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Social deduction games have become a popular testbed for probing reasoning, deception, coordination, and belief modeling in Large Language Model (LLM) agents. However, most environments are scored only by game outcomes such as win rates and largely remain to text-only interaction, making it difficult to tell whether an agent's language is actually grounded in what it perceived and did, or to identify the failure modes underlying its behavior. To address this gap, we introduce QUACK, an open-source environment and evaluation framework for auditing the grounding of agent language in multimodal social reasoning. QUACK evaluates agents at three levels: game outcomes, behavioral trajectories, and utterance-level consistency. Its core Statement Verification Pipeline reconstructs each agent's ground-truth trajectory from engine logs and checks every discussion claim against it, automatically flagging spatial hallucination, unsupported accusation, deception collapse, and language-action inconsistency. Evaluating three frontier VLMs in both homogeneous and cross-model adversarial settings, we find that even the strongest agent hallucinates 15.1% of its verifiable spatial claims and makes over half of its accusations without grounded evidence. We release the full engine, evaluation framework, toolkit, and logs at https://github.com/AAAAA-Academia-Attractions/QUACK.
- Abstract（参考訳）: 社会的推論ゲームは、Large Language Model (LLM)エージェントにおける推論、騙し、コーディネーション、信念モデリングのための一般的なテストベッドとなっている。
しかし、ほとんどの環境は、勝利率のようなゲーム結果によってのみ得点され、主にテキストのみのインタラクションに留まっているため、エージェントの言語が実際に認識され、何をしたか、あるいはその動作の根底にある障害モードを特定することは困難である。
このギャップに対処するために、マルチモーダルな社会的推論におけるエージェント言語の基礎を監査するためのオープンソース環境および評価フレームワークであるQUACKを紹介する。
QUICKはエージェントをゲーム結果、行動軌跡、発話レベルの一貫性の3つのレベルで評価する。
その中核となるステートメント検証パイプラインは、エンジンログから各エージェントの基幹軌道を再構築し、それに対するすべての議論の主張をチェックする。
3つのフロンティアVLMを均質的およびクロスモデル逆境的な設定で評価すると、最強のエージェントでさえその検証可能な空間的クレームの15.1%を幻覚し、根拠のない証拠のない告発の半数以上を犯すことがわかった。
我々は、完全なエンジン、評価フレームワーク、ツールキット、ログをhttps://github.com/AAAAA-Academia-Attractions/QUACKでリリースします。
関連論文リスト
- Lies We Can See: Joint Verbal and Non-Verbal Deception by VLM Agents in Embodied Social Interactions [66.7908338529737]
LLMとVLMのエージェントによる戦略的な騙しは、AIのアライメントと安全性の懸念の中心として現れている。
既存のテストベッドはテキストのみであり、単一の固定エージェント構成で実行される。
我々は,MineAmongUsを紹介した。これはUsサンドボックス内の3次元マルチモーダルで,インポスタエージェントは共同弁論と非言語行動を通じて乗組員を騙さなければならない。
論文 参考訳（メタデータ） (2026-08-31T08:24:29Z) - CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship [7.643253506288442]
既存のベンチマークでは、手書きのシナリオを使用し、シミュレーターを誘導する。
対話型バイリンガルベンチマークCompanionBenchを紹介する。
実際のデータにシナリオとトレーニングされたユーザーシミュレータの両方を基盤とした最初のコンパニオンベンチマークである。
論文 参考訳（メタデータ） (2026-08-03T10:44:04Z) - MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents [7.0922719251235655]
MetaSpaceは、エンボディエージェントの空間認知を評価するために設計された新しいフレームワークである。
そこで,MetaSpaceは最先端MLLMエージェントの空間認識誤りを90,422個検出することに成功した。
その結果、全てのSOTAエージェントは平均スコアが0.44から0.52であり、人間ベンチマークの0.96よりもかなり低いことが示唆された。
論文 参考訳（メタデータ） (2026-07-26T14:07:20Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳（メタデータ） (2026-05-28T07:33:47Z) - The Bystander Effect in Multi-Agent Reasoning: Quantifying Cognitive Loafing in Collaborative Interactions [6.357772907811544]
我々は3つのデータセットコンテキストにまたがる22,500の決定論的軌跡を,3つの最先端(SOTA)モデルで評価した。
我々はtextitSovereignty Gap を形式化する:モデルはしばしば正しい導出を内部で計算するが、アライメント幻覚に苦しむ」。
我々は,マルチエージェントの社会的負荷が厳密に非可換であることを証明し,リード・アンカーの監査役の「ブランド」アイデンティティは群集の整合性を不当に判断する。
論文 参考訳（メタデータ） (2026-05-11T15:13:01Z) - TriEx: A Game-based Tri-View Framework for Explaining Internal Reasoning in Multi-Agent LLMs [16.622300148265275]
TriExは、整列されたアーティファクトでシーケンシャルな意思決定を行う、トリビュー説明可能性フレームワークである。
本稿では,TriExにより,説明の忠実さ,信念のダイナミクス,評価者の信頼性をスケーラブルに分析できることを示す。
論文 参考訳（メタデータ） (2026-04-21T22:55:57Z) - GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。
2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。
18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
論文 参考訳（メタデータ） (2026-04-08T17:49:03Z) - Lying to Win: Assessing LLM Deception through Human-AI Games and Parallel-World Probing [16.419761149171215]
本稿では,大規模言語モデルを組み込んだ論理的基盤化フレームワークを提案する。
オブジェクト識別の時点では,対話状態は複数の並列世界へ複製される。
GPT-4o, Gemini-2.5-Flash, Qwen-3-235B を3つのインセンティブレベル(中性, 損失ベース, 存在)で評価した。
論文 参考訳（メタデータ） (2026-03-07T13:21:53Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models [75.85319609088354]
SAGE(Sentient Agent as a Judge)は、大規模言語モデルの評価フレームワークである。
SAGEは人間のような感情の変化や内的思考をシミュレートするSentient Agentをインスタンス化する。
SAGEは、真に共感的で社会的に適応的な言語エージェントへの進捗を追跡するための、原則付き、スケーラブルで解釈可能なツールを提供する。
論文 参考訳（メタデータ） (2025-05-01T19:06:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。