Fugu-MT 論文翻訳(概要): Do LLMs Trust the Accuser or the Accusation? Measuring Belief Shifts in Werewolf

論文の概要: Do LLMs Trust the Accuser or the Accusation? Measuring Belief Shifts in Werewolf

arxiv url: http://arxiv.org/abs/2609.12446v1
Date: Fri, 11 Sep 2026 05:10:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-15 07:38:31.6287
Title: Do LLMs Trust the Accuser or the Accusation? Measuring Belief Shifts in Werewolf
Title（参考訳）: LLMは告発者や告発を信頼しているか? ウィールウルフにおける信念の変化を測る
Abstract要約: Werewolfでは,信頼度更新によるコミュニケーションスキルの分析のために,信念シフト評価ベンチマークを提案する。 LLMをプレイしたゲームを用いて、疑念や非難のメッセージに注釈を付け、各メッセージの後に村のモデルの信念がどう変化するかを測定する。以上の結果から,より大型のオオカミをゲーム史に基づく村人たちと区別した方がよいが,いまだにその信念に強い影響を与えていることが示唆された。
参考スコア（独自算出の注目度）: 11.041872259395609
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Social-deduction games such as Werewolf are increasingly used to evaluate LLM agents, but existing evaluations often rely on final game outcomes. We propose a belief-shift evaluation benchmark in Werewolf for analyzing communication skills through belief updating. Using LLM-played games, we annotate suspicion and accusation messages and measure how an observing village-side model's beliefs change after each message. We evaluate 40 open-weight LLM configurations on 1,224 annotated messages. Our results show that larger models better distinguish true wolves from villagers based on game history, but accusations still strongly influence their beliefs. Models become more suspicious of the accused target and less suspicious of the accuser, especially when the accuser is trusted, even if the accuser is wolf-aligned. Larger models better resist accusations from accusers they already distrust. Overall, our findings suggest that current open-weight LLMs up to 120B parameters still struggle to integrate accusation content with source trust in strategic communication. Our benchmark and code are available at https://rlg.iis.sinica.edu.tw/papers/werewolf-accusation-benchmark.
Abstract（参考訳）: Werewolfのようなソーシャル推論ゲームはLSMエージェントの評価にますます利用されているが、既存の評価は最終的なゲーム結果に依存していることが多い。 Werewolfでは,信頼度更新によるコミュニケーションスキルの分析のために,信念シフト評価ベンチマークを提案する。 LLMをプレイしたゲームを用いて、疑念や非難のメッセージに注釈を付け、各メッセージの後に村のモデルの信念がどう変化するかを測定する。 1,224のアノテートメッセージに対して40個のオープンウェイトLLM構成を評価する。以上の結果から,より大型のオオカミをゲーム史に基づく村人たちと区別した方がよいが,いまだにその信念に強い影響を与えていることが示唆された。モデルは、被疑者の標的を疑うようになり、特に被疑者が信頼されている場合、特に被疑者がオオカミに同調している場合でも、被疑者の不審感を和らげる。より大きなモデルは、既に不信な告発者からの告発に抵抗する方がよい。総じて,現在のオープンウェイトLLMは最大120Bのパラメータで,告訴内容とソース信頼を戦略的コミュニケーションに組み込むことに苦慮していることが示唆された。ベンチマークとコードはhttps://rlg.iis.sinica.edu.tw/papers/werewolf-accusation-benchmarkで公開しています。

関連論文リスト

Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Games [50.880420636090896]
9-player Werewolf環境において,隠れた役割に対する外部信頼状態を維持するための監査可能なフレームワークを構築した。我々は,その効果を関連づけとして報告し,そのメカニズムを未解決として扱う。
論文参考訳（メタデータ） (2026-07-12T16:03:30Z)
Verbalizing LLMs' assumptions to explain and control sycophancy [62.927670321859495]
LLMは、真のアセスメントを提供するのではなく、"am I in the wrong? LLMからこれらの仮定を抽出するフレームワークであるVerbalized Assumptionsを提案する。我々の研究は、梅毒のメカニズムとしての仮定の新たな理解に貢献している。
論文参考訳（メタデータ） (2026-04-03T14:15:43Z)
When Hate Meets Facts: LLMs-in-the-Loop for Check-worthiness Detection in Hate Speech [4.736364625993341]
WSF-ARG+はヘイトスピーチとチェック履歴情報を組み合わせた最初のデータセットである。チェック価値のあるクレームのアノテーションを容易にするための新しいLLM-in-the-loopフレームワークを提案する。チェックする価値のある主張を持つHSメッセージは、ハラスメントと憎悪を著しく高めていることを示している。
論文参考訳（メタデータ） (2026-03-26T10:07:00Z)
Hidden in Plain Text: Measuring LLM Deception Quality Against Human Baselines Using Social Deduction Games [4.501547677532766]
大規模言語モデル(LLM)エージェントは、多くのアプリケーションでますます使われており、その安全性に対する懸念が高まっている。マフィアでは,会話を通じて他人を騙すことに成功度が左右される。我々は GPT-4-Turbo を用いたマフィア検出器を作成し、プレイヤーロール情報なしでゲームスクリプティングを分析し、マフィアプレーヤーを予測する。その結果,マフィア検出器のマフィア予測精度は人間のゲームよりもLDMゲームの方が低いことがわかった。
論文参考訳（メタデータ） (2026-01-20T08:07:21Z)
Lying with Truths: Open-Channel Multi-Agent Collusion for Belief Manipulation via Generative Montage [18.964773489734547]
大規模言語モデル(LLM)がリアルタイム情報を合成する自律エージェントに遷移するにつれて、それらの推論能力は予期せぬ攻撃面をもたらす。本稿では,公衆チャネルを通じて配布される真正な証拠断片のみを用いて,被害者の信念を占拠する新たな脅威について紹介する。
論文参考訳（メタデータ） (2026-01-04T22:50:23Z)
WOLF: Werewolf-based Observations for LLM Deception and Falsehoods [7.434408249978527]
WerewolfをベースとしたマルチエージェントソーシャルベンチマークであるWOLFを提案する。 WOLFはプログラム可能なLangGraphステートマシンにロールグラウンドエージェントを埋め込む。すべての言明は別個の分析単位であり、話者から自己評価された正直さと他者からのピアレーティングな騙しである。
論文参考訳（メタデータ） (2025-12-09T23:14:20Z)
Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
論文参考訳（メタデータ） (2025-08-08T14:46:35Z)
Verbal Werewolf: Engage Users with Verbalized Agentic Werewolf Game Framework [40.58507305270978]
Werewolfのような社会的推論ゲームは、伝統的に言葉によるコミュニケーションを通して行われており、Large Language Models (LLMs) の理想的な応用である。 textbf Verbal Werewolfは2つの並列パイプラインを最適化する新しいLLMベースのゲームシステムである。
論文参考訳（メタデータ） (2025-05-30T18:58:57Z)
Fool Me, Fool Me: User Attitudes Toward LLM Falsehoods [13.62116438805314]
本研究では,Large Language Models (LLMs) による偽造応答に関するユーザの嗜好について検討する。意外なことに、ユーザの61%は、マークされたものよりも、マークされていない偽りの応答を好む。以上の結果から,LLM学習に影響を及ぼすユーザの嗜好が不注意に偽造を促進させる可能性が示唆された。
論文参考訳（メタデータ） (2024-12-16T10:10:27Z)
WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries [64.239202960816]
事実性を評価するベンチマークであるWildHallucinationsを紹介する。それは、大きな言語モデルに、ユーザーとチャットボットの会話から抽出されたエンティティに関する情報を生成するよう促すことによって実現している。我々は15個のLDMから7,919個のエンティティ上で118,785世代を評価した。
論文参考訳（メタデータ） (2024-07-24T17:59:05Z)
WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
論文参考訳（メタデータ） (2024-06-19T20:13:42Z)
"Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
論文参考訳（メタデータ） (2023-10-13T16:12:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。