論文の概要: MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games
- arxiv url: http://arxiv.org/abs/2607.10645v1
- Date: Sun, 12 Jul 2026 08:20:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.490573
- Title: MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games
- Title（参考訳）: MafiaScope: ソーシャル・ドダクション・ゲームにおけるLDMエージェントの非侵襲的・時間分解的信念調査
- Authors: Ilia Karpov,
- Abstract要約: MafiaScopeはオープンなテストベッドで、ソーシャル推論ゲームMafiaをマシン理論のための測定器に変える。
公的な発言のたびに、各エージェントはプライベートに一連の構造化されたプローブ質問に答える。
答えは決してゲームに復帰せず、エンジンが知っている真実に対して自動的に得点される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An LLM agent's public behaviour reveals little about its social reasoning: an agent that votes correctly may be guessing, and an agent that lies well leaves no trace of what it actually believes. We present MafiaScope, an open testbed that turns the social deduction game Mafia into a measurement instrument for machine Theory of Mind. After every public utterance, every agent privately answers a configurable set of structured probe questions; the answers never re-enter the game and are scored automatically against the ground truth the engine knows. An interactive visualizer renders the belief trajectories: impersonate mode shows the game as one agent sees it, panels chart timeline-aligned accuracy and calibration, and counterfactual replay forks any recorded step. In a 32-game DeepSeek case study with 13{,}815 parsed probe answers, stated confidence is poorly calibrated, with expected calibration error 0.17, agents over-predict being suspected 1.5 times, and a 30-fork replay experiment walks the counterfactual replay workflow end to end. Engine, viewer and a corpus of 200+ cross-model games are released under an open licence; live demo: https://karpovilia.github.io/mafiascope/; screencast: https://vimeo.com/1208920221.
- Abstract（参考訳）: LLMエージェントの公開行動は、その社会的推論についてほとんど明らかにしていない: 正しく投票するエージェントは推測しているかもしれない。
MafiaScopeは、社会的推論ゲームMafiaを機械理論のための測定器に変えるオープンなテストベッドである。
すべての公的な発話の後、全てのエージェントは、構成可能な一連の構造化されたプローブの質問にプライベートに答える。
インタラクティブなヴィジュアライザーは、信念の軌跡を描画する: 擬人化モードは、あるエージェントが見ているようにゲームを表示する。
13{,}815を解析した13{,}815のDeepSeekケーススタディでは、自信はキャリブレーションエラー0.17で、エージェントの過剰予測は1.5回、30フォークのリプレイ実験は反ファクトリプレイのワークフローを終端まで歩いた。
ライブデモ: https://karpovilia.github.io/mafiascope/; スクリーンキャスト: https://vimeo.com/1208920221。
関連論文リスト
- Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Games [50.880420636090896]
9-player Werewolf環境において,隠れた役割に対する外部信頼状態を維持するための監査可能なフレームワークを構築した。
我々は,その効果を関連づけとして報告し,そのメカニズムを未解決として扱う。
論文 参考訳（メタデータ） (2026-07-12T16:03:30Z) - RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue [2.7606655162305476]
我々は,このテストを1対2の尋問ゲームとして運用するインタラクティブなWebアプリであるRogueAIを紹介する。
プレイヤーの任務は、不正行為を識別し、ターンの予算が尽きる前に「シャットオフ」することである。
プレイヤーが独自の騙し戦略をひそかに選択するナレーターエージェントでカスタムシナリオを設計する手続き的拡張であるAutoRogueAIを紹介する。
論文 参考訳（メタデータ） (2026-06-11T13:07:02Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳（メタデータ） (2026-05-28T07:33:47Z) - QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents [38.13248430205106]
QUACKはマルチモーダルな社会的推論におけるエージェント言語の基礎を監査するための評価フレームワークである。
エンジンログから各エージェントの基幹軌道を再構築し、それに対するすべての議論のクレームをチェックする。
最強のエージェントでさえ、検証可能な空間的主張の15.1%を幻覚させ、根拠のない証拠なしに告発の半数以上を犯している。
論文 参考訳（メタデータ） (2026-05-26T14:19:08Z) - GameGen-Verifier: Parallel Keypoint-Based Verification for LLM-Generated Games via Runtime State Injection [5.552431662875654]
GameGen-Verifierは、仕様を検証可能なキーポイントに分解し、それらを独立した検証ユニットに分類する。
VeriGameでは、7つのジャンルにまたがる100のゲームのデータセットであるGameGen-Verifierが、人間の判断に対して最大92.2%の精度を達成した。
論文 参考訳（メタデータ） (2026-05-08T08:46:59Z) - GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。
2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。
18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
論文 参考訳（メタデータ） (2026-04-08T17:49:03Z) - Hidden in Plain Text: Measuring LLM Deception Quality Against Human Baselines Using Social Deduction Games [4.501547677532766]
大規模言語モデル(LLM)エージェントは、多くのアプリケーションでますます使われており、その安全性に対する懸念が高まっている。
マフィアでは,会話を通じて他人を騙すことに成功度が左右される。
我々は GPT-4-Turbo を用いたマフィア検出器を作成し、プレイヤーロール情報なしでゲームスクリプティングを分析し、マフィアプレーヤーを予測する。
その結果,マフィア検出器のマフィア予測精度は人間のゲームよりもLDMゲームの方が低いことがわかった。
論文 参考訳（メタデータ） (2026-01-20T08:07:21Z) - Inspector: Pixel-Based Automated Game Testing via Exploration,
Detection, and Investigation [116.41186277555386]
Inspectorは、ゲームと深く統合することなく、異なるゲームに容易に適用できるゲームテストエージェントである。
インスペクタは純粋にピクセル入力に基づいており、ゲームスペースエクスプローラー、キーオブジェクト検出器、人間に似たオブジェクトインスペクタの3つの重要なモジュールから構成されている。
実験結果は,ゲーム空間の探索,キーオブジェクトの検出,オブジェクトの調査におけるインスペクタの有効性を示す。
論文 参考訳（メタデータ） (2022-07-18T04:49:07Z) - Collusion Detection in Team-Based Multiplayer Games [57.153233321515984]
チームベースのマルチプレイヤーゲームにおいて,協調動作を検出するシステムを提案する。
提案手法は,ゲーム内行動パターンと組み合わせたプレイヤーの社会的関係を解析する。
次に,非教師なし学習手法であるアイソレーションフォレストによる検出を自動化する。
論文 参考訳（メタデータ） (2022-03-10T02:37:39Z) - An Empirical Study on the Generalization Power of Neural Representations
Learned via Visual Guessing Games [79.23847247132345]
本研究は,視覚質問応答(VQA)のような新しいNLP下流タスクにおいて,後から実行を依頼されたとき,人工エージェントが推測ゲームでどの程度の利益を得ることができるかを検討する。
提案手法は,1) エージェントがうまく推理ゲームを模倣することを学習する教師あり学習シナリオ,2) エージェントが単独でプレイする新しい方法,すなわち,反復経験学習(SPIEL)によるセルフプレイ(Self-play)を提案する。
論文 参考訳（メタデータ） (2021-01-31T10:30:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。