論文の概要: A Benchmark for Zero-Shot Belief Inference in Large Language Models
- arxiv url: http://arxiv.org/abs/2511.18616v1
- Date: Sun, 23 Nov 2025 21:13:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.92917
- Title: A Benchmark for Zero-Shot Belief Inference in Large Language Models
- Title（参考訳）: 大規模言語モデルにおけるゼロショット信念推論のベンチマーク
- Authors: Joseph Malone, Rachith Aiyappa, Byunghwee Lee, Haewoon Kwak, Jisun An, Yong-Yeol Ahn,
- Abstract要約: 本研究では,大規模言語モデルによる幅広いトピックに対する個人的姿勢の予測能力を評価するベンチマークを提案する。
個人に関する背景情報の提供により予測精度は向上するが,その性能は信仰領域によって大きく異なる。
- 参考スコア（独自算出の注目度）: 3.669506952334741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Beliefs are central to how humans reason, communicate, and form social connections, yet most computational approaches to studying them remain confined to narrow sociopolitical contexts and rely on fine-tuning for optimal performance. Despite the growing use of large language models (LLMs) across disciplines, how well these systems generalize across diverse belief domains remains unclear. We introduce a systematic, reproducible benchmark that evaluates the ability of LLMs to predict individuals' stances on a wide range of topics in a zero-shot setting using data from an online debate platform. The benchmark includes multiple informational conditions that isolate the contribution of demographic context and known prior beliefs to predictive success. Across several small- to medium-sized models, we find that providing more background information about an individual improves predictive accuracy, but performance varies substantially across belief domains. These findings reveal both the capacity and limitations of current LLMs to emulate human reasoning, advancing the study of machine behavior and offering a scalable framework for modeling belief systems beyond the sociopolitical sphere.
- Abstract（参考訳）: 信念は、人間の理性、コミュニケーション、社会的つながりの形成の中心であるが、研究へのほとんどの計算的アプローチは、狭い社会政治の文脈に限られており、最適なパフォーマンスのために微調整に依存している。
大きな言語モデル(LLM)が専門分野にまたがって普及しているにもかかわらず、これらのシステムが様々な信念領域にまたがっていかに一般化されているかは、いまだに不明である。
我々は、オンライン討論プラットフォームからのデータを用いて、ゼロショット設定において、広範囲のトピックにおける個人の姿勢を予測できるLCMの能力を評価する、体系的な再現可能なベンチマークを導入する。
このベンチマークには、人口統計学的文脈と予測成功に対する既知の事前信念の貢献を分離する複数の情報条件が含まれている。
いくつかの小規模から中規模のモデルにおいて、個人に関する背景情報を提供することで予測精度が向上するが、その性能は信念領域によって大きく異なる。
これらの結果は、人間の推論をエミュレートする現在のLLMの能力と限界の両方を明らかにし、機械行動の研究を進め、社会政治の領域を超えた信念システムをモデル化するためのスケーラブルな枠組みを提供する。
関連論文リスト
- HumanLLM: Towards Personalized Understanding and Simulation of Human Nature [72.55730315685837]
HumanLLMは個人のパーソナライズされた理解とシミュレーションのために設計された基礎モデルである。
私たちはまず、Reddit、Twitter、Blogger、Amazonといったプラットフォーム上で、現実世界のユーザデータをキュレートした大規模なコーパスであるCognitive Genomeを構築しました。
次に、多様な学習タスクを定式化し、教師付き微調整を行い、モデルの幅広い個人化された人間の行動、思考、経験を予測する。
論文 参考訳（メタデータ） (2026-01-22T09:27:27Z) - Uncovering the Computational Ingredients of Human-Like Representations in LLMs [8.00888290370075]
人のような表現を発達させるモデルを構築する上で、これらの材料のうちどれが最も重要なのかは、いまだに不明である。
現在のベンチマークのほとんどは、人間とモデルの間の表現的アライメントの測定には適していない。
論文 参考訳（メタデータ） (2025-10-01T15:37:19Z) - Towards Safer AI Moderation: Evaluating LLM Moderators Through a Unified Benchmark Dataset and Advocating a Human-First Approach [0.9147875523270338]
大規模言語モデル(LLM)は、複雑さとパフォーマンスにおいて、以前のモデルを上回る優れた機能を示している。
彼らは、これらの問題の主観的で文脈に依存した性質のために、暗黙の憎しみ、攻撃的な言葉、性別の偏見を検出するのに苦労している。
我々は、人間の感情や攻撃行動を評価するために、最先端(SOTA)モデルに基づく実験フレームワークを開発した。
論文 参考訳（メタデータ） (2025-08-09T18:00:27Z) - Using cognitive models to reveal value trade-offs in language models [12.178109894945981]
我々は2つのモデル設定を含む価値トレードオフを評価するために、丁寧な音声の認知モデルを使用する。
本研究は,モデルのデフォルト行動の推論において,ソーシャルユーティリティよりも高い情報ユーティリティのパターンを強調した。
私たちのフレームワークは、さまざまなモデルタイプにまたがる価値のトレードオフを調査するための柔軟なツールを提供します。
論文 参考訳（メタデータ） (2025-06-25T17:58:12Z) - Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge [1.1666234644810893]
小さなモデルは安全性においてより大きなモデルよりも優れており、トレーニングとアーキテクチャがスケール以上の意味を持つ可能性があることを示唆している。
低リソース言語を使ったジェイルブレイク攻撃や拒否抑制が効果的であるなど、敵の誘惑に対して完全に堅牢なモデルはない。
論文 参考訳（メタデータ） (2025-04-10T16:00:59Z) - LLM Generated Persona is a Promise with a Catch [18.45442859688198]
ペルソナをベースとしたシミュレーションは、人口レベルのフィードバックに依存した変革の規律を約束する。
現実的なペルソナデータを収集する従来の方法は課題に直面します。
プライバシーの制約により、違法に高価で物議を醸している。
論文 参考訳（メタデータ） (2025-03-18T03:11:27Z) - An Overview of Large Language Models for Statisticians [109.38601458831545]
大規模言語モデル(LLM)は人工知能(AI)の変換ツールとして登場した。
本稿では, 統計学者がLLMの開発に重要な貢献できる可能性について考察する。
我々は不確実性定量化、解釈可能性、公正性、プライバシー、透かし、モデル適応といった問題に焦点を当てる。
論文 参考訳（メタデータ） (2025-02-25T03:40:36Z) - Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning [88.68573198200698]
本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。
我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。
評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
論文 参考訳（メタデータ） (2024-12-12T21:29:00Z) - Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Designing Domain-Specific Large Language Models: The Critical Role of Fine-Tuning in Public Opinion Simulation [0.0]
本稿では,英国家庭縦断研究の社会デマトグラフィーデータを統合した,新しい微調整手法を提案する。
多様な合成プロファイルをエミュレートすることで、微調整されたモデルは、事前訓練されたモデルよりも大幅に優れている。
より広範な意味は、医療や教育などの分野にLLMをデプロイすること、包括的でデータ駆動型意思決定を促進することである。
論文 参考訳（メタデータ） (2024-09-28T10:39:23Z) - Social Debiasing for Fair Multi-modal LLMs [59.61512883471714]
MLLM(Multi-modal Large Language Models)は、研究分野を劇的に進歩させ、強力な視覚言語理解機能を提供する。
これらのモデルは、しばしば訓練データから根深い社会的偏見を継承し、人種や性別などの属性に対する不快な反応をもたらす。
本稿では,MLLMにおける社会的バイアスの問題を,複数の社会的概念を持つ包括的対実的データセットを導入することで解決する。
論文 参考訳（メタデータ） (2024-08-13T02:08:32Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。