論文の概要: Large Language Models: An Applied Econometric Framework

• arxiv url: http://arxiv.org/abs/2412.07031v1
• Date: Mon, 09 Dec 2024 22:37:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:10.436683
• Title: Large Language Models: An Applied Econometric Framework
• Title（参考訳）: 大規模言語モデル: 応用エコノメトリフレームワーク
• Authors: Jens Ludwig, Sendhil Mullainathan, Ashesh Rambachan,
• Abstract要約: 大規模言語モデル(LLM)は、予測の作成、テキストのラベル付け、人間の反応のシミュレート、仮説の生成、さらにはそのようなデータが存在しない時間や場所のデータ生成など、経済学研究で使われている。 我々はこの問題に答えるための計量的枠組みを開発する。
• 参考スコア（独自算出の注目度）: 1.348318541691744
• License:
• Abstract: Large language models (LLMs) are being used in economics research to form predictions, label text, simulate human responses, generate hypotheses, and even produce data for times and places where such data don't exist. While these uses are creative, are they valid? When can we abstract away from the inner workings of an LLM and simply rely on their outputs? We develop an econometric framework to answer this question. Our framework distinguishes between two types of empirical tasks. Using LLM outputs for prediction problems (including hypothesis generation) is valid under one condition: no "leakage" between the LLM's training dataset and the researcher's sample. Using LLM outputs for estimation problems to automate the measurement of some economic concept (expressed by some text or from human subjects) requires an additional assumption: LLM outputs must be as good as the gold standard measurements they replace. Otherwise estimates can be biased, even if LLM outputs are highly accurate but not perfectly so. We document the extent to which these conditions are violated and the implications for research findings in illustrative applications to finance and political economy. We also provide guidance to empirical researchers. The only way to ensure no training leakage is to use open-source LLMs with documented training data and published weights. The only way to deal with LLM measurement error is to collect validation data and model the error structure. A corollary is that if such conditions can't be met for a candidate LLM application, our strong advice is: don't.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、予測の作成、テキストのラベル付け、人間の反応のシミュレート、仮説の生成、さらにはそのようなデータが存在しない時間や場所のデータ生成など、経済学研究で使われている。 これらはクリエイティブな使い方ですが、有効でしょうか? LLMの内部の作業から抽象化して、単にアウトプットに依存することはいつ可能でしょうか? 我々はこの問題に答えるための計量的枠組みを開発する。 我々のフレームワークは2種類の経験的タスクを区別する。 LLMの出力を予測問題(仮説生成を含む)に使用することは、1つの条件下で有効である: LLMのトレーニングデータセットと研究者のサンプルの間に「推論」は存在しない。 LLM出力を推定問題に使用して、いくつかの経済概念(一部のテキストまたは人から表される)の計測を自動化するには、追加の仮定が必要である。 LLMの出力は極めて正確だが、完全にはそうではない。 我々は、これらの条件が違反する範囲と、金融・政治経済への実証的な応用における研究結果への含意について述べる。 また、実証研究者への指導も行っている。 トレーニングリークを確実にする唯一の方法は、ドキュメント化されたトレーニングデータと公開されたウェイトを備えたオープンソースのLLMを使用することだ。 LLM測定誤差を扱う唯一の方法は、検証データを収集し、エラー構造をモデル化することである。 結論として、もしそのような条件が候補のLLMアプリケーションで満たされないのであれば、私たちの強いアドバイスは次のとおりである。

関連論文リスト

• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
  大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である 我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。 テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
  論文  参考訳（メタデータ） (2024-04-01T06:01:17Z)
• $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
  本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。 我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。 我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
  論文  参考訳（メタデータ） (2024-03-27T08:08:00Z)
• Are Large Language Models Temporally Grounded? [38.481606493496514]
  文章を記述したLarge Language Model (LLM) を提供する。 イベントの構造と持続時間に関する常識的な知識に関して、それらを調査する。 これらの能力を反映した3つの課題に対して,最先端のLCMを評価した。
  論文  参考訳（メタデータ） (2023-11-14T18:57:15Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。