論文の概要: Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting
- arxiv url: http://arxiv.org/abs/2604.02512v1
- Date: Thu, 02 Apr 2026 21:13:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.203044
- Title: Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting
- Title(参考訳): 大規模言語モデルにおける社会的意味:構造、マグニチュード、プラグマティック・プロンプティング
- Authors: Roland Mühlenbernd,
- Abstract要約: 本研究では,言語モデル(LLM)について検討し,人文的・社会的推論のパターンを提示する。
すべてのモデルは、人間の社会的推論の質的構造を確実に再現するが、大口径キャリブレーションでは著しく異なる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) increasingly exhibit human-like patterns of pragmatic and social reasoning. This paper addresses two related questions: do LLMs approximate human social meaning not only qualitatively but also quantitatively, and can prompting strategies informed by pragmatic theory improve this approximation? To address the first, we introduce two calibration-focused metrics distinguishing structural fidelity from magnitude calibration: the Effect Size Ratio (ESR) and the Calibration Deviation Score (CDS). To address the second, we derive prompting conditions from two pragmatic assumptions: that social meaning arises from reasoning over linguistic alternatives, and that listeners infer speaker knowledge states and communicative motives. Applied to a case study on numerical (im)precision across three frontier LLMs, we find that all models reliably reproduce the qualitative structure of human social inferences but differ substantially in magnitude calibration. Prompting models to reason about speaker knowledge and motives most consistently reduces magnitude deviation, while prompting for alternative-awareness tends to amplify exaggeration. Combining both components is the only intervention that improves all calibration-sensitive metrics across all models, though fine-grained magnitude calibration remains only partially resolved. LLMs thus capture inferential structure while variably distorting inferential strength, and pragmatic theory provides a useful but incomplete handle for improving that approximation.
- Abstract(参考訳): 大型言語モデル(LLM)は、実用的・社会的推論の人間的なパターンをますます表している。
本稿では, LLMは質的にも定量的にも人間の社会的な意味を近似し, 実用論的理論から得られる戦略が, この近似を改善することができるか, という2つの問題に対処する。
まず,2つのキャリブレーションに焦点をあて,等級キャリブレーションと等級キャリブレーションを区別する指標として,エフェクトサイズ比 (ESR) とキャリブレーション偏差スコア (CDS) を導入する。
第二に、社会的な意味は言語的選択肢に対する推論から生じ、聞き手は話者の知識状態とコミュニケーション動機を推測する。
3つのフロンティアLLMにおける数値(im)精度のケーススタディに適用すると、すべてのモデルが人間の社会的推論の定性的構造を確実に再現するが、大小キャリブレーションではかなり異なることが分かる。
話者の知識とモチベーションを推論するモデルを提案することは、最も一貫して大きさのずれを減らし、一方、代替意識の促進は誇張を増幅する傾向にある。
両方のコンポーネントを組み合わせることが、すべてのモデルでキャリブレーションに敏感なメトリクスを改善する唯一の介入であるが、粒度の細かいキャリブレーションは部分的には解決されていない。
したがって、LLMは推論の強度を可変的に歪めながら推論構造を捉え、実用的な理論はその近似を改善するのに有用だが不完全なハンドルを提供する。
関連論文リスト
- On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。
本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。
我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文 参考訳(メタデータ) (2026-02-14T01:07:45Z) - Computational Turing Test Reveals Systematic Differences Between Human and AI Language [0.0]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするために社会科学でますます使われている。
既存の検証努力は人的判断に基づく評価に大きく依存している。
本稿では,LLMが人間の言語にどの程度近いかを評価するために,計算チューリングテストを提案する。
論文 参考訳(メタデータ) (2025-11-06T08:56:37Z) - From Five Dimensions to Many: Large Language Models as Precise and Interpretable Psychological Profilers [14.983442449498739]
本研究は,人間の心理特性の相関構造を,最小の量的入力からモデル化できるかどうかについて検討する。
我々は816人の個人から、他の9つの心理的尺度でのロールプレイを行うために、ビッグファイブ・パーソナリティ・スケールの反応を持つ様々なLSMを誘導した。
LLMは人間の心理的構造を捉えるのに顕著な精度を示した。
論文 参考訳(メタデータ) (2025-11-05T06:51:13Z) - The Pragmatic Mind of Machines: Tracing the Emergence of Pragmatic Competence in Large Language Models [6.187227278086245]
大規模言語モデル(LLM)は、不規則な解決や推論の理論を含む社会的知性に新たな能力を示す。
本研究では,異なる学習段階におけるLLMが話者意図を正確に推測できるかどうかを評価する。
プレトレーニング後, 教師付き微調整(SFT), 選好最適化の3段階にわたる22個のLDMを系統的に評価した。
論文 参考訳(メタデータ) (2025-05-24T04:24:59Z) - Large Language Models as Neurolinguistic Subjects: Discrepancy between Performance and Competence [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。
ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
論文 参考訳(メタデータ) (2024-11-12T04:16:44Z) - Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
世界の知識と論理的推論の相互作用について検討する。
最先端の大規模言語モデル(LLM)は、しばしば表面的な一般化に依存している。
タスクの単純な再構成により、より堅牢な推論行動が引き起こされることを示す。
論文 参考訳(メタデータ) (2024-10-31T12:48:58Z) - Conformity in Large Language Models [26.963909402233213]
誤った応答に対する整合性は、言語モデルの有効性を損なう可能性がある。
本稿では,一般的な大規模言語モデルにおける適合性の度合いを検討するために,心理学実験を適用した。
私たちは、LSMが彼ら自身の予測でより不確実である場合に、より適合する可能性が高いことを示す最初の人です。
論文 参考訳(メタデータ) (2024-10-16T10:16:34Z) - Regularized Conventions: Equilibrium Computation as a Model of Pragmatic
Reasoning [72.21876989058858]
本稿では,信号ゲームの正規化平衡を探索することにより,発話を生成・理解する実用的な言語理解のモデルを提案する。
このモデルでは、話者とリスナーは文脈的に適切な発話を探索し、ゲーム理論の最適規則に近づき、共有された'デフォルト'セマンティクスに近い意味のマッピングを意味づける。
論文 参考訳(メタデータ) (2023-11-16T09:42:36Z) - Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-24T06:15:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。