論文の概要: A Benchmark for Zero-Shot Belief Inference in Large Language Models

• arxiv url: http://arxiv.org/abs/2511.18616v1
• Date: Sun, 23 Nov 2025 21:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.92917
• Title: A Benchmark for Zero-Shot Belief Inference in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるゼロショット信念推論のベンチマーク
• Authors: Joseph Malone, Rachith Aiyappa, Byunghwee Lee, Haewoon Kwak, Jisun An, Yong-Yeol Ahn,
• Abstract要約: 本研究では,大規模言語モデルによる幅広いトピックに対する個人的姿勢の予測能力を評価するベンチマークを提案する。 個人に関する背景情報の提供により予測精度は向上するが,その性能は信仰領域によって大きく異なる。
• 参考スコア（独自算出の注目度）: 3.669506952334741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Beliefs are central to how humans reason, communicate, and form social connections, yet most computational approaches to studying them remain confined to narrow sociopolitical contexts and rely on fine-tuning for optimal performance. Despite the growing use of large language models (LLMs) across disciplines, how well these systems generalize across diverse belief domains remains unclear. We introduce a systematic, reproducible benchmark that evaluates the ability of LLMs to predict individuals' stances on a wide range of topics in a zero-shot setting using data from an online debate platform. The benchmark includes multiple informational conditions that isolate the contribution of demographic context and known prior beliefs to predictive success. Across several small- to medium-sized models, we find that providing more background information about an individual improves predictive accuracy, but performance varies substantially across belief domains. These findings reveal both the capacity and limitations of current LLMs to emulate human reasoning, advancing the study of machine behavior and offering a scalable framework for modeling belief systems beyond the sociopolitical sphere.
• Abstract（参考訳）: 信念は、人間の理性、コミュニケーション、社会的つながりの形成の中心であるが、研究へのほとんどの計算的アプローチは、狭い社会政治の文脈に限られており、最適なパフォーマンスのために微調整に依存している。 大きな言語モデル(LLM)が専門分野にまたがって普及しているにもかかわらず、これらのシステムが様々な信念領域にまたがっていかに一般化されているかは、いまだに不明である。 我々は、オンライン討論プラットフォームからのデータを用いて、ゼロショット設定において、広範囲のトピックにおける個人の姿勢を予測できるLCMの能力を評価する、体系的な再現可能なベンチマークを導入する。 このベンチマークには、人口統計学的文脈と予測成功に対する既知の事前信念の貢献を分離する複数の情報条件が含まれている。 いくつかの小規模から中規模のモデルにおいて、個人に関する背景情報を提供することで予測精度が向上するが、その性能は信念領域によって大きく異なる。 これらの結果は、人間の推論をエミュレートする現在のLLMの能力と限界の両方を明らかにし、機械行動の研究を進め、社会政治の領域を超えた信念システムをモデル化するためのスケーラブルな枠組みを提供する。

関連論文リスト

• Towards Safer AI Moderation: Evaluating LLM Moderators Through a Unified Benchmark Dataset and Advocating a Human-First Approach [0.9147875523270338]
  大規模言語モデル(LLM)は、複雑さとパフォーマンスにおいて、以前のモデルを上回る優れた機能を示している。 彼らは、これらの問題の主観的で文脈に依存した性質のために、暗黙の憎しみ、攻撃的な言葉、性別の偏見を検出するのに苦労している。 我々は、人間の感情や攻撃行動を評価するために、最先端(SOTA)モデルに基づく実験フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-08-09T18:00:27Z)
• Using cognitive models to reveal value trade-offs in language models [12.178109894945981]
  我々は2つのモデル設定を含む価値トレードオフを評価するために、丁寧な音声の認知モデルを使用する。 本研究は,モデルのデフォルト行動の推論において,ソーシャルユーティリティよりも高い情報ユーティリティのパターンを強調した。 私たちのフレームワークは、さまざまなモデルタイプにまたがる価値のトレードオフを調査するための柔軟なツールを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:58:12Z)
• Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge [1.1666234644810893]
  小さなモデルは安全性においてより大きなモデルよりも優れており、トレーニングとアーキテクチャがスケール以上の意味を持つ可能性があることを示唆している。 低リソース言語を使ったジェイルブレイク攻撃や拒否抑制が効果的であるなど、敵の誘惑に対して完全に堅牢なモデルはない。
  論文  参考訳（メタデータ） (2025-04-10T16:00:59Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Designing Domain-Specific Large Language Models: The Critical Role of Fine-Tuning in Public Opinion Simulation [0.0]
  本稿では,英国家庭縦断研究の社会デマトグラフィーデータを統合した,新しい微調整手法を提案する。 多様な合成プロファイルをエミュレートすることで、微調整されたモデルは、事前訓練されたモデルよりも大幅に優れている。 より広範な意味は、医療や教育などの分野にLLMをデプロイすること、包括的でデータ駆動型意思決定を促進することである。
  論文  参考訳（メタデータ） (2024-09-28T10:39:23Z)
• Social Debiasing for Fair Multi-modal LLMs [59.61512883471714]
  MLLM(Multi-modal Large Language Models)は、研究分野を劇的に進歩させ、強力な視覚言語理解機能を提供する。 これらのモデルは、しばしば訓練データから根深い社会的偏見を継承し、人種や性別などの属性に対する不快な反応をもたらす。 本稿では,MLLMにおける社会的バイアスの問題を,複数の社会的概念を持つ包括的対実的データセットを導入することで解決する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。