論文の概要: Revealing economic facts: LLMs know more than they say

• arxiv url: http://arxiv.org/abs/2505.08662v1
• Date: Tue, 13 May 2025 15:24:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.63754
• Title: Revealing economic facts: LLMs know more than they say
• Title（参考訳）: 経済の事実を暴露する LLMは言う以上に多くのことを知っている
• Authors: Marcus Buckmann, Quynh Anh Nguyen, Edward Hill,
• Abstract要約: 大規模言語モデル (LLM) の隠れ状態が, 経済統計を推定し, インプットするのに有効かどうかを検討する。 オープンソースのLLMの隠れ状態に基づいて訓練された単純な線形モデルが、モデルのテキスト出力より優れていることを示す。
• 参考スコア（独自算出の注目度）: 1.433758865948252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether the hidden states of large language models (LLMs) can be used to estimate and impute economic and financial statistics. Focusing on county-level (e.g. unemployment) and firm-level (e.g. total assets) variables, we show that a simple linear model trained on the hidden states of open-source LLMs outperforms the models' text outputs. This suggests that hidden states capture richer economic information than the responses of the LLMs reveal directly. A learning curve analysis indicates that only a few dozen labelled examples are sufficient for training. We also propose a transfer learning method that improves estimation accuracy without requiring any labelled data for the target variable. Finally, we demonstrate the practical utility of hidden-state representations in super-resolution and data imputation tasks.
• Abstract（参考訳）: 本研究では,大規模言語モデル (LLM) の隠れ状態が,経済・財務統計の予測・解釈に有効かどうかを検討する。 郡のレベル(失業率など)とファームレベル(総資産数など)の変数に着目して、オープンソースのLCMの隠れ状態に基づいて訓練された単純な線形モデルが、モデルのテキスト出力より優れていることを示す。 このことは、LLMの反応が直接明らかにするよりも、隠れた国家が豊かな経済情報を捉えていることを示唆している。 学習曲線解析は、ラベル付きサンプルがトレーニングに十分であることを示す。 また,対象変数に対してラベル付きデータを必要とせず,推定精度を向上させるトランスファー学習手法を提案する。 最後に,超解像およびデータ計算タスクにおける隠れ状態表現の実用性を示す。

関連論文リスト

• Self-training Large Language Models through Knowledge Detection [26.831873737733737]
  大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。 本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。 経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
  論文  参考訳（メタデータ） (2024-06-17T07:25:09Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Data-Centric Financial Large Language Models [27.464319154543173]
  大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。 我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-07T04:53:31Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。