論文の概要: How Well Do LLMs Predict Human Behavior? A Measure of their Pretrained Knowledge

• arxiv url: http://arxiv.org/abs/2601.12343v1
• Date: Sun, 18 Jan 2026 10:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.585519
• Title: How Well Do LLMs Predict Human Behavior? A Measure of their Pretrained Knowledge
• Title（参考訳）: LLMは人間の振舞いをいかに予測するか : 事前訓練された知識の測定
• Authors: Wayne Gao, Sukjin Han, Annie Liang,
• Abstract要約: 大規模言語モデル(LLM)は、人間の行動を予測するのにますます使われている。 本稿では,事前学習したLLMが,そのような予測にどの程度の知識をもたらすかを評価する尺度を提案する。 本研究では,ある領域における固定LDMの予測誤差を,ドメイン固有データのサンプル増加に基づいて学習したフレキシブル機械学習モデルと比較することにより,この測定値を推定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to predict human behavior. We propose a measure for evaluating how much knowledge a pretrained LLM brings to such a prediction: its equivalent sample size, defined as the amount of task-specific data needed to match the predictive accuracy of the LLM. We estimate this measure by comparing the prediction error of a fixed LLM in a given domain to that of flexible machine learning models trained on increasing samples of domain-specific data. We further provide a statistical inference procedure by developing a new asymptotic theory for cross-validated prediction error. Finally, we apply this method to the Panel Study of Income Dynamics. We find that LLMs encode considerable predictive information for some economic variables but much less for others, suggesting that their value as substitutes for domain-specific data differs markedly across settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の行動を予測するのにますます使われている。 本研究では,LLMの予測精度に適合するために必要なタスク固有データの量として定義された,その等価なサンプルサイズについて,事前学習したLLMがどの程度の知識をもたらすかを評価する尺度を提案する。 本研究では,ある領域における固定LDMの予測誤差を,ドメイン固有データのサンプル増加に基づいて学習したフレキシブル機械学習モデルと比較することにより,この測定値を推定する。 さらに,クロスバリデーション予測誤差の新しい漸近理論を考案し,統計的推測手法を提案する。 最後に,この手法をPanel Study of Income Dynamicsに適用する。 LLMは、いくつかの経済変数に対してかなりの予測情報をエンコードするが、他の変数に対してははるかに少ないので、ドメイン固有のデータの代用としての価値は、設定によって著しく異なることが示唆される。

関連論文リスト

• Quantile Regression with Large Language Models for Price Prediction [15.277244542405345]
  大規模言語モデル(LLM)は、回帰を含む構造化予測タスクにおいて有望であることを示している。 我々は,LLMが完全な予測分布を生成できる新しい量子レグレッション手法を提案する。 量子ヘッドを微調整したMistral-7Bモデルは、点推定と分布推定の両方において従来の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-06-07T04:19:28Z)
• Applying Large Language Models to Travel Satisfaction Analysis [2.5105418815378555]
  本研究は上海で収集された家庭調査データを用いて,大言語モデル(LLM)と人間との相違点の存在と原因を特定する。 LLMは文脈的理解と一般化において強力な能力を持ち、タスク固有のデータへの依存を著しく減少させる。 小さいサンプルサイズで旅行行動のモデル化に応用できるLCMに基づくモデリング手法を提案する。
  論文  参考訳（メタデータ） (2025-05-29T09:11:58Z)
• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)
• Can Language Models Use Forecasting Strategies? [14.332379032371612]
  実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。 モデルはまだ、未来に関する正確な予測に苦戦している。
  論文  参考訳（メタデータ） (2024-06-06T19:01:42Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。