論文の概要: Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data

• arxiv url: http://arxiv.org/abs/2407.14985v2
• Date: Thu, 3 Oct 2024 02:30:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 19:27:32.137782
• Title: Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data
• Title（参考訳）: 一般化対メモ化:事前学習データに言語モデルの能力を引き戻す
• Authors: Xinyi Wang, Antonis Antoniades, Yanai Elazar, Alfonso Amayuelas, Alon Albalak, Kexun Zhang, William Yang Wang,
• Abstract要約: 大規模言語モデル(LLM)は、実際に目に見えないタスクに一般化するか、大量の事前学習データを記憶することに依存するかという議論を引き起こしている。 本稿では,LLMの出力確率と事前学習データ頻度との相関を計測する,メモリ化,分散メモリ化という拡張された概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 暗記がより大きな役割を果たすことを示した。
• 参考スコア（独自算出の注目度）: 76.90128359866462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The impressive capabilities of large language models (LLMs) have sparked debate over whether these models genuinely generalize to unseen tasks or predominantly rely on memorizing vast amounts of pretraining data. To explore this issue, we introduce an extended concept of memorization, distributional memorization, which measures the correlation between the LLM output probabilities and the pretraining data frequency. To effectively capture task-specific pretraining data frequency, we propose a novel task-gram language model, which is built by counting the co-occurrence of semantically related $n$-gram pairs from task inputs and outputs in the pretraining corpus. Using the Pythia models trained on the Pile dataset, we evaluate three distinct tasks: machine translation, factual question answering, and reasoning. Our findings reveal varying levels of memorization, with the strongest effect observed in factual question answering. Furthermore, while model performance improves across all tasks as LLM size increases, only factual question answering shows an increase in memorization, whereas machine translation and reasoning tasks exhibit greater generalization, producing more novel outputs. This study demonstrates that memorization plays a larger role in simpler, knowledge-intensive tasks, while generalization is the key for harder, reasoning-based tasks, providing a scalable method for analyzing large pretraining corpora in greater depth.
• Abstract（参考訳）: 大規模言語モデル(LLM)の印象的な能力は、これらのモデルが真に見えないタスクに一般化するか、あるいは大量の事前学習データを記憶することに主に依存しているかという議論を引き起こしている。 そこで本研究では, LLM出力確率と事前学習データ頻度との相関を計測する, メモリ化, 分散メモリ化という拡張概念を導入する。 タスク固有の事前学習データ頻度を効果的に把握するために,タスク入力と事前学習コーパスの出力から意味論的に関連付けられた$n$-gramペアの共起をカウントして構築した新しいタスクグラム言語モデルを提案する。 Pileデータセットに基づいてトレーニングされたPythiaモデルを用いて、機械翻訳、事実質問応答、推論の3つの異なるタスクを評価する。 その結果, 記憶のレベルは様々であり, 事実質問応答において最も強い効果が認められた。 さらに,LLMのサイズが大きくなるにつれてモデル性能が向上する一方,機械翻訳や推論タスクはより一般化され,より新しい出力が生成される。 本研究は, より単純で知識集約的なタスクにおいて, 暗記がより大きな役割を果たすことを示すとともに, 一般化がより困難で推論に基づくタスクの鍵であり, 大規模事前学習コーパスをより深く分析するためのスケーラブルな方法を提供する。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks [0.8425561594225592]
  本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。 特定の論理的および数学的推論タスクに焦点を当てている。 このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-24T16:27:35Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Teaching Arithmetic to Small Transformers [39.72665384986095]
  本研究では,小形変圧器が算術演算を効率的に学習する方法について検討する。 まず,従来の学習データが算術学習に最も効果的でないことを示す。 次に、中間ステップの結果を含むチェーン・オブ・シンクスタイルのデータをトレーニングします。
  論文  参考訳（メタデータ） (2023-07-07T04:33:31Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。