論文の概要: MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games

• arxiv url: http://arxiv.org/abs/2607.10645v2
• Date: Sat, 18 Jul 2026 17:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 14:24:57.263556
• Title: MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games
• Title（参考訳）: MafiaScope: ソーシャル・ドダクション・ゲームにおけるLDMエージェントの非侵襲的・時間分解的信念調査
• Authors: Ilia Karpov,
• Abstract要約: MafiaScopeはオープンなテストベッドで、ソーシャルゲームMafiaをマシン理論のための測定器に変える。 エージェントがゲームを読み間違えたために負けたのか、あるいは正しいアセスメントに失敗したのかを区別する。 対話型ビジュアライザは、個々のエージェントの信念からのゲーム推論をリプレイし、タイムラインに沿った精度とキャリブレーションを表示する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An LLM agent's public behaviour reveals little about its social reasoning: an agent that votes correctly may be guessing, and an agent that lies well leaves no trace of what it actually believes. We present MafiaScope, an open testbed that turns the social deduction game Mafia into a measurement instrument for machine Theory of Mind. It distinguishes whether an agent lost because it misread the game or because it failed to act on a correct assessment, a distinction that is invisible from outcomes and dialogue transcripts alone. After every public utterance, each agent privately answers structured probe questions whose responses never re-enter the game and are scored against the ground truth known to the engine. An interactive visualizer replays games from the perspective of an individual agent's beliefs, displays timeline-aligned accuracy and calibration, and supports counterfactual replay from any recorded step. In a case study across two model families comprising tens of thousands of parsed probe responses, we find that stated confidence is poorly calibrated, agents overestimate how often they are suspected by a factor of 1.5, and single-vote counterfactual replays rarely change game outcomes: outcome flips occur primarily when the agent had already formed a correct belief state, whereas decisions made under an incorrect model of the world remain largely unchanged under resampling. The engine, visualizer, recorded games, and counterfactual replay corpus are released under an open-source licence. Code: https://github.com/karpovilia/mafiascope. Live demo: https://karpovilia.github.io/mafiascope/. Screencast: https://vimeo.com/1208920221.
• Abstract（参考訳）: LLMエージェントの公開行動は、その社会的推論についてほとんど明らかにしていない: 正しく投票するエージェントは推測しているかもしれない。 MafiaScopeは、社会的推論ゲームMafiaを機械理論のための測定器に変えるオープンなテストベッドである。 エージェントがゲームを読み間違えたために負けたのか、それとも正しい評価に失敗したのかを区別する。 公的な発言のたびに、各エージェントは個人的に構造化されたプローブの質問に答え、反応はゲームに再入らない。 対話型ビジュアライザは、個々のエージェントの信念の観点からゲームをリプレイし、タイムラインに沿った精度とキャリブレーションを表示し、記録された任意のステップからの反実的なリプレイをサポートする。 数万件のパースされたプローブ応答からなる2つのモデルファミリーを対象としたケーススタディでは、被疑者の信頼度は低下しており、エージェントは1.5の因子で疑われる頻度を過大評価しており、シングルボイトの偽造リプレイはゲーム結果を変えることは滅多にない。 エンジン、ビジュアライザ、録画ゲーム、および反ファクトリプレイコーパスは、オープンソースライセンス下でリリースされている。 コード:https://github.com/karpovilia/mafiascope.com ライブデモ: https://karpovilia.github.io/mafiascope/。 スクリーンキャスト:https://vimeo.com/1208920221。

関連論文リスト

• Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Games [50.880420636090896]
  9-player Werewolf環境において,隠れた役割に対する外部信頼状態を維持するための監査可能なフレームワークを構築した。 我々は,その効果を関連づけとして報告し,そのメカニズムを未解決として扱う。
  論文  参考訳（メタデータ） (2026-07-12T16:03:30Z)
• RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue [2.7606655162305476]
  我々は,このテストを1対2の尋問ゲームとして運用するインタラクティブなWebアプリであるRogueAIを紹介する。 プレイヤーの任務は、不正行為を識別し、ターンの予算が尽きる前に「シャットオフ」することである。 プレイヤーが独自の騙し戦略をひそかに選択するナレーターエージェントでカスタムシナリオを設計する手続き的拡張であるAutoRogueAIを紹介する。
  論文  参考訳（メタデータ） (2026-06-11T13:07:02Z)
• MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
  大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。 Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。 我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
  論文  参考訳（メタデータ） (2026-05-28T07:33:47Z)
• QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents [38.13248430205106]
  QUACKはマルチモーダルな社会的推論におけるエージェント言語の基礎を監査するための評価フレームワークである。 エンジンログから各エージェントの基幹軌道を再構築し、それに対するすべての議論のクレームをチェックする。 最強のエージェントでさえ、検証可能な空間的主張の15.1%を幻覚させ、根拠のない証拠なしに告発の半数以上を犯している。
  論文  参考訳（メタデータ） (2026-05-26T14:19:08Z)
• GameGen-Verifier: Parallel Keypoint-Based Verification for LLM-Generated Games via Runtime State Injection [5.552431662875654]
  GameGen-Verifierは、仕様を検証可能なキーポイントに分解し、それらを独立した検証ユニットに分類する。 VeriGameでは、7つのジャンルにまたがる100のゲームのデータセットであるGameGen-Verifierが、人間の判断に対して最大92.2%の精度を達成した。
  論文  参考訳（メタデータ） (2026-05-08T08:46:59Z)
• GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
  GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。 2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。 18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
  論文  参考訳（メタデータ） (2026-04-08T17:49:03Z)
• Hidden in Plain Text: Measuring LLM Deception Quality Against Human Baselines Using Social Deduction Games [4.501547677532766]
  大規模言語モデル(LLM)エージェントは、多くのアプリケーションでますます使われており、その安全性に対する懸念が高まっている。 マフィアでは,会話を通じて他人を騙すことに成功度が左右される。 我々は GPT-4-Turbo を用いたマフィア検出器を作成し、プレイヤーロール情報なしでゲームスクリプティングを分析し、マフィアプレーヤーを予測する。 その結果,マフィア検出器のマフィア予測精度は人間のゲームよりもLDMゲームの方が低いことがわかった。
  論文  参考訳（メタデータ） (2026-01-20T08:07:21Z)
• Inspector: Pixel-Based Automated Game Testing via Exploration, Detection, and Investigation [116.41186277555386]
  Inspectorは、ゲームと深く統合することなく、異なるゲームに容易に適用できるゲームテストエージェントである。 インスペクタは純粋にピクセル入力に基づいており、ゲームスペースエクスプローラー、キーオブジェクト検出器、人間に似たオブジェクトインスペクタの3つの重要なモジュールから構成されている。 実験結果は,ゲーム空間の探索,キーオブジェクトの検出,オブジェクトの調査におけるインスペクタの有効性を示す。
  論文  参考訳（メタデータ） (2022-07-18T04:49:07Z)
• Collusion Detection in Team-Based Multiplayer Games [57.153233321515984]
  チームベースのマルチプレイヤーゲームにおいて,協調動作を検出するシステムを提案する。 提案手法は,ゲーム内行動パターンと組み合わせたプレイヤーの社会的関係を解析する。 次に,非教師なし学習手法であるアイソレーションフォレストによる検出を自動化する。
  論文  参考訳（メタデータ） (2022-03-10T02:37:39Z)
• An Empirical Study on the Generalization Power of Neural Representations Learned via Visual Guessing Games [79.23847247132345]
  本研究は,視覚質問応答(VQA)のような新しいNLP下流タスクにおいて,後から実行を依頼されたとき,人工エージェントが推測ゲームでどの程度の利益を得ることができるかを検討する。 提案手法は,1) エージェントがうまく推理ゲームを模倣することを学習する教師あり学習シナリオ,2) エージェントが単独でプレイする新しい方法,すなわち,反復経験学習(SPIEL)によるセルフプレイ(Self-play)を提案する。
  論文  参考訳（メタデータ） (2021-01-31T10:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。