論文の概要: How Well Do LLMs Predict Human Behavior? A Measure of their Pretrained Knowledge

• arxiv url: http://arxiv.org/abs/2601.12343v1
• Date: Sun, 18 Jan 2026 10:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.585519
• Title: How Well Do LLMs Predict Human Behavior? A Measure of their Pretrained Knowledge
• Title（参考訳）: LLMは人間の振舞いをいかに予測するか : 事前訓練された知識の測定
• Authors: Wayne Gao, Sukjin Han, Annie Liang,
• Abstract要約: 大規模言語モデル(LLM)は、人間の行動を予測するのにますます使われている。 本稿では,事前学習したLLMが,そのような予測にどの程度の知識をもたらすかを評価する尺度を提案する。 本研究では,ある領域における固定LDMの予測誤差を,ドメイン固有データのサンプル増加に基づいて学習したフレキシブル機械学習モデルと比較することにより,この測定値を推定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to predict human behavior. We propose a measure for evaluating how much knowledge a pretrained LLM brings to such a prediction: its equivalent sample size, defined as the amount of task-specific data needed to match the predictive accuracy of the LLM. We estimate this measure by comparing the prediction error of a fixed LLM in a given domain to that of flexible machine learning models trained on increasing samples of domain-specific data. We further provide a statistical inference procedure by developing a new asymptotic theory for cross-validated prediction error. Finally, we apply this method to the Panel Study of Income Dynamics. We find that LLMs encode considerable predictive information for some economic variables but much less for others, suggesting that their value as substitutes for domain-specific data differs markedly across settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の行動を予測するのにますます使われている。 本研究では,LLMの予測精度に適合するために必要なタスク固有データの量として定義された,その等価なサンプルサイズについて,事前学習したLLMがどの程度の知識をもたらすかを評価する尺度を提案する。 本研究では,ある領域における固定LDMの予測誤差を,ドメイン固有データのサンプル増加に基づいて学習したフレキシブル機械学習モデルと比較することにより,この測定値を推定する。 さらに,クロスバリデーション予測誤差の新しい漸近理論を考案し,統計的推測手法を提案する。 最後に,この手法をPanel Study of Income Dynamicsに適用する。 LLMは、いくつかの経済変数に対してかなりの予測情報をエンコードするが、他の変数に対してははるかに少ないので、ドメイン固有のデータの代用としての価値は、設定によって著しく異なることが示唆される。

関連論文リスト

• Quantile Regression with Large Language Models for Price Prediction [15.277244542405345]
  大規模言語モデル(LLM)は、回帰を含む構造化予測タスクにおいて有望であることを示している。 我々は,LLMが完全な予測分布を生成できる新しい量子レグレッション手法を提案する。 量子ヘッドを微調整したMistral-7Bモデルは、点推定と分布推定の両方において従来の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-06-07T04:19:28Z)
• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。