論文の概要: Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Games
- arxiv url: http://arxiv.org/abs/2607.10814v1
- Date: Sun, 12 Jul 2026 16:03:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.547968
- Title: Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Games
- Title(参考訳): 隠れ情報型ソーシャル推論ゲームにおけるLLMエージェントの聴取
- Abstract要約: 9-player Werewolf環境において,隠れた役割に対する外部信頼状態を維持するための監査可能なフレームワークを構築した。
我々は,その効果を関連づけとして報告し,そのメカニズムを未解決として扱う。
- 参考スコア(独自算出の注目度): 50.880420636090896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating LLM agents in hidden-information multi-agent settings is hard: final outcomes are high-variance and rarely reveal why an agent decided as it did. We study this in a 9-player Werewolf environment where agents act under strict, code-level information isolation, and we build an auditable framework that maintains an external belief state over hidden roles, logs belief updates and belief-action deviations as structured evidence, and supports a defensive offline improvement loop that reviews bad cases before any strategy change. Across 1,080 frozen games spanning belief-disabled, active-belief, kernel-ablation, camp-restricted, consumption-policy, and high-load arms, and including a seed-paired A0/A1 comparison, the active-belief condition is associated with substantially better good-side outcomes: in the 200-seed A0/A1 comparison the good-side win rate rises from 0.205 to 0.390 (paired McNemar $χ^2 = 16.4$, $p < 0.001$), with fewer irreversible witch-poison errors. We do not, however, attribute this shift to belief content. Direct action-belief consistency is low ($\approx 0.21$), and giving belief only to the werewolves helps the good side more than giving it only to the good side, which argues against a simple holder-benefit account; we therefore report the effect as an association and treat its mechanism as unresolved. The contribution is the audit framework itself: it makes the effect measurable, exposes low direct action-belief consistency, rejects an unreliable forced-consumption intervention with evidence, and separates strategy effects from load confounds. We accordingly position external belief in high-noise hidden-information games primarily as an auditable cognitive baseline that also carries decision-relevant signal, turning opaque agent behavior into replayable evidence for safer, controlled iteration.
- Abstract(参考訳): 隠蔽情報を用いたマルチエージェント設定におけるLLMエージェントの評価は困難である。
エージェントが厳密なコードレベルの情報隔離の下で行動する9人のWerewolf環境でこれを研究し、隠れた役割に対する外部の信念状態を維持する監査可能なフレームワークを構築し、信念の更新と信念の逸脱を構造化された証拠として記録し、戦略変更前に悪事例をレビューする防御的なオフライン改善ループをサポートする。
1,080のフリーズゲームは、信仰障害、アクティブビリーフ、カーネルアブレーション、キャンプ制限、消費政治、高負荷のアームにまたがっており、シードペアのA0/A1比較を含む、アクティブビリーフ条件は、かなり優れた善良な結果に結びついている:200シードのA0/A1比較では、善良な勝利率は0.205から0.390(McNemar $ ^2 = 16.4$, $p < 0.001$)に上昇する。
しかし、この変化は信念の内容によるものではない。
直接的な行動信頼性の整合性は低く(約0.21ドル)、人狼にのみ信じることは、良い側にのみ与えるよりもむしろ良い側に寄与する。
その貢献は監査フレームワークそのものであり、効果を計測し、直接的行動の信頼性を低くし、証拠による信頼できない強制消費の介入を拒絶し、戦略効果を負荷の相違から分離する。
そこで我々は,ハイノイズ隠れ情報ゲームに対する外的信念を,意思決定関連信号も伝達する聴覚認知ベースラインとして位置づけ,不透明なエージェントの動作を,より安全かつ制御された反復の再現可能な証拠にする。
関連論文リスト
- Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay [0.6768558752130311]
単一エージェント環境において,実行されたリプレイからポリシー条件の真偽を検査する。
段階的な信用シグナルは、限界整合シャッフル制御以上の信頼度の高いインクリメンタル忠実度を示すものではない。
信頼のみのルータは、チャンスレベルにおいて重要なステップを回復するが、1ターンあたりの審査コストを13.1%削減する。
論文 参考訳(メタデータ) (2026-08-20T08:04:00Z) - Can Agents Deceive? Evaluating Reasoning and Deception in ParliamentBench using a Social Deduction Game [23.840355539083372]
大規模言語モデル (LLM) は、医療や法体系などの高度な設定においてエージェントとしてデプロイされる。
我々は,情報非対称性の下での誤認,説得,推論を必要とするシナリオにおいてLLMを評価する。
本稿では,社会的推論,推論,虚偽の一貫性を分離する3つの新しい指標を紹介する。
論文 参考訳(メタデータ) (2026-07-30T12:54:17Z) - Not All Flips Are Conformity: Decomposing Stance Convergence in Multi-Agent LLM Debate [5.650336594658653]
従来の解答フリップは, 自発的不安定性, 姿勢による適合性, 推論による説得の3つのメカニズムを混同している。
我々の3ソース分解フレームワークは、制御された対策条件によってそれぞれを分離する。
論文 参考訳(メタデータ) (2026-05-30T17:41:11Z) - Why Do LLMs Struggle in Strategic Play? Broken Links Between Observations, Beliefs, and Actions [22.817330994735254]
大規模言語モデル(LLM)は、不完全な情報の下での戦略的意思決定にますます取り組まれている。
不完全情報ゲームにおけるLSMの意思決定の基盤となる内部メカニズムには,2つの根本的なギャップがある。
論文 参考訳(メタデータ) (2026-04-30T21:04:38Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文 参考訳(メタデータ) (2026-03-19T10:40:27Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳(メタデータ) (2026-01-21T06:07:43Z) - Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency [78.91846841708586]
完全な自己整合性で答えられた事実でさえ、軽微な文脈干渉の下で急速に崩壊することを示します。
本研究では,概念的近傍における応答コヒーレンスを評価する信念の構造尺度であるNighbor-Consistency Belief(NCB)を提案する。
また、文脈不変の信念構造を最適化し、長い知識の脆さを約30%低減する構造意識訓練(SAT)を提案する。
論文 参考訳(メタデータ) (2026-01-09T16:23:21Z) - The Facade of Truth: Uncovering and Mitigating LLM Susceptibility to Deceptive Evidence [49.94160400740222]
MisBeliefは、協調的な多ラウンドの相互作用によって誤解を招く証拠を生成するフレームワークである。
MisBeliefを用いて、3つの難易度で4,800のインスタンスを生成し、7つの代表的なLCMを評価する。
結果は、モデルは直接的な誤報に対して堅牢であるが、この洗練された証拠に非常に敏感であることを示している。
本稿では,疑似意図を証拠裏で推測することにより早期警告信号を提供するガバナンス機構である,認知的意図遮蔽(DIS)を提案する。
論文 参考訳(メタデータ) (2026-01-09T02:28:00Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳(メタデータ) (2024-09-26T21:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。