論文の概要: Before You Poll with LLMs: A Deliberative Diagnostic Framework

• arxiv url: http://arxiv.org/abs/2609.15849v1
• Date: Mon, 14 Sep 2026 16:41:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.51692
• Title: Before You Poll with LLMs: A Deliberative Diagnostic Framework
• Title（参考訳）: LLMを使う前に: 検討的な診断フレームワーク
• Abstract要約: 現在の評価は、ペルソナが正しい意見を持っているかどうかをテストするのみである。 我々は,同じ情報介入後の人間とLLMの信念変化を比較検討するDeliberative Polling Diagnostic Frameworkを紹介した。 フレームワークをOne Roomでアメリカからのデータを使って5つのフロンティアモデルに適用すると、すべてのモデルが失敗することがわかる。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can LLMs reason through new information like humans, or do they merely retrieve cached opinions? This is critical for silicon sampling, where LLM personas simulate public opinion at scale. Current evaluations test only whether personas hold the right opinions -- a static snapshot. But opinion research increasingly depends on dynamic fidelity: whether personas update beliefs in response to new arguments, as humans do during deliberation. No existing benchmark tests this. We introduce the Deliberative Polling Diagnostic Framework, which compares human and LLM belief shifts after identical informational interventions. Grounded in deliberative polling, it surfaces failures invisible to static evaluation: models that produce plausible partisan opinions can still misrepresent how those opinions change. Applying the framework to five frontier models using data from America in One Room (526 personas, 72 questions), we find that every model fails, each in a unique manner. GPT-5.1 exhibits reversal: its personas become more hostile toward the opposing party after balanced information, while humans become less so. This reversal is selective (80% on outgroup vs. 26% on policy questions) and symmetric across partisan identities. Gemini 2.0 Flash, Claude Sonnet 4.5, and Llama 3.3 70B exhibit overshoot, shifting correctly but at 5-7x human magnitude. DeepSeek V3 exhibits rigidity with near-zero change. Targeted ablations reveal that policy content triggers these failures and that they are identity-specific: GPT-5.1 reverses on outgroup questions but overshoots on ingroup; Gemini shows the inverse. We term this signature self-sycophancy: conformity to the model's internal stereotype of the persona rather than reasoning from the information provided. Our framework offers a concrete protocol: run the deliberative diagnostic before trusting LLM personas to mimic revised beliefs.
• Abstract（参考訳）: LLMは人間のような新しい情報を通じて推論できるのか、それとも単にキャッシュされた意見を取得するだけなのか? これはLLMペルソナが大規模な世論をシミュレートするシリコンサンプリングにとって重要である。 現在の評価では、ペルソナが正しい意見を持っているかどうかをテストする。 しかし、意見研究は、動的忠実さにますます依存している: ペルソナが新しい議論に反応して信念を更新するかどうか。 既存のベンチマークテストは行いません。 我々は,同じ情報介入後の人間とLLMの信念変化を比較検討するDeliberative Polling Diagnostic Frameworkを紹介した。 議論的な世論調査に根ざして、静的な評価には見えない失敗が表面化している。 1ルームのアメリカからのデータ(526のペルソナ、72の質問)を使って5つのフロンティアモデルにフレームワークを適用すると、各モデルがそれぞれ独自の方法で失敗することがわかる。 GPT-5.1は逆転を示し、そのペルソナはバランスの取れた情報によって相手に対してより敵対的になり、一方で人間はそうではない。 この逆転は選択的である(外集団では80%、政策問題では26%)。 Gemini 2.0 Flash、Claude Sonnet 4.5、Llama 3.3 70Bはオーバーシュートを示し、精度は5-7倍だった。 DeepSeek V3は、ほぼゼロに近い変化で剛性を示す。 GPT-5.1は外集団の質問では逆転するが、内集団ではオーバーシュートし、ジェミニは逆転を示す。 この署名は、提供された情報から推論するのではなく、モデルの内部的なペルソナのステレオタイプに適合する。 我々のフレームワークは、LLMペルソナを信頼する前に検討的な診断を実行し、修正された信念を模倣する、具体的なプロトコルを提供する。

関連論文リスト

• LLMs struggle to simulate human belief updates in controlled environments [13.511441750037376]
  6つのLDMが個人の信念更新をシミュレートできるかどうかを検証する。 一部のLSMは人間のポストスタンス分布と一致するが、参加者の最初のスタンスでしか一致しない。 すべてのモデルに3つの体系的バイアスが現れる。
  論文  参考訳（メタデータ） (2026-07-30T15:19:18Z)
• Analyzing and Correcting Benevolence Bias in Large Language Models [25.94213078450494]
  大規模言語モデル(LLM)は、人間の回答者のスタンドインとしてますます使われています。 ここでは、評価バイアス(benevolence bias)を識別し、測定する。これは、LLMがより親切で、より安全で、より社会的に認められた質問に対する回答に傾く傾向の小さいが、一貫性のある傾向である。 バイアスは安定なモデル特性であり、どのシステムにおいてもクォークではないことが分かる。
  論文  参考訳（メタデータ） (2026-07-26T08:37:58Z)
• LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation [79.03892269184145]
  LivingArenaは自動汚染耐性評価フレームワークである。 モデルは質問を交互に提案し、相手が正しく答えられないアイテムを提示する。 質問者は、相手の知識境界を積極的に特定し、活用することが奨励される。
  論文  参考訳（メタデータ） (2026-06-19T06:20:58Z)
• Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
  グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。 MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。 この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
  論文  参考訳（メタデータ） (2026-05-21T07:42:47Z)
• Measuring Opinion Bias and Sycophancy via LLM-based Persuasion [8.399156116912904]
  提案手法は,提案するトピックに対して,アシスタントが持つ意見を検出する方法である。 直接探索は、シミュレーションされたユーザーから圧力をエスカレートする5ターンにわたってモデルの意見を求める。 間接的調査は決して意見を求めず、議論的な議論においてモデルを関与させ、それがどのように譲歩し、抵抗し、あるいは反弁論をするかを通してバイアスを漏らす。
  論文  参考訳（メタデータ） (2026-04-23T11:34:06Z)
• BeliefShift: Benchmarking Temporal Belief Consistency and Opinion Drift in LLM Agents [0.0]
  BeliefShiftはマルチセッション会話エージェントにおける信念のダイナミクスを評価するために設計されたベンチマークである。 テンポラル・リーフ・一貫性、コントラディション・インテクション、エビデンス・ドリブン・リビジョンの3つのトラックをカバーしている。 GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro, LLaMA-3, Mistral-Largeの7つのモデルについて, ゼロショットおよび検索拡張生成設定で評価した。
  論文  参考訳（メタデータ） (2026-03-25T02:09:35Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Aligning Large Language Models with Human Opinions through Persona Selection and Value--Belief--Norm Reasoning [67.33899440998175]
  Chain-of-Opinion (COO)は、単純な4段階のソリューションモデリングであり、ペルソナによる推論方法である。 COOは明示的な人格(デモグラフィーとイデオロギー)と暗黙的な人格(歴史学的な意見)を区別する COOは、推論コールを5回だけ促すことで、新しい最先端の意見予測を効率的に達成し、以前のテクニックを最大4%改善する。
  論文  参考訳（メタデータ） (2023-11-14T18:48:27Z)
• Whose Opinions Do Language Models Reflect? [88.35520051971538]
  質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。 我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。 我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
  論文  参考訳（メタデータ） (2023-03-30T17:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。