論文の概要: Demystifying Language Model Forgetting with Low-rank Example Associations

• arxiv url: http://arxiv.org/abs/2406.14026v2
• Date: Fri, 04 Oct 2024 06:18:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:08:41.983541
• Title: Demystifying Language Model Forgetting with Low-rank Example Associations
• Title（参考訳）: 低ランクな実例アソシエーションによる言語モデルのデミスティフィケーション
• Authors: Xisen Jin, Xiang Ren,
• Abstract要約: 大規模言語モデル(LLM)は、微調整時に上流データを忘れることに悩まされる。 我々は、言語モデリングや微調整後の命令チューニングの上流の例で発生する忘れを実証的に分析する。
• 参考スコア（独自算出の注目度）: 38.93348195407474
• License:
• Abstract: Large Language models (LLMs) suffer from forgetting of upstream data when fine-tuned. Despite efforts on mitigating forgetting, few have investigated whether, and how forgotten upstream examples are dependent on and associated with newly learned tasks. Insights on such associations enable efficient and targeted mitigation of forgetting. In this paper, we empirically analyze forgetting (measured in log-perplexity increase) that occurs in $N$ upstream examples of language modeling or instruction-tuning after fine-tuning LLMs on one of $M$ new tasks, visualized in $M\times N$ matrices. We demonstrate that the matrices display simple low-rank patterns, often well-approximated with multiplicative scalar effects of upstream examples and newly learned tasks. We also examine fine-grained associations with visualization and statistics. Leveraging the low-rank nature of the associations, we predict forgetting of upstream examples when fine-tuning on unseen tasks with matrix completion over the empirical associations. This enables fast identification of most forgotten examples without expensive inference on the entire upstream data. The approach, despite simplicity, outperforms prior approaches that learn semantic relationships of learned tasks and upstream examples with LMs for predicting forgetting. We demonstrate the practical utility of our analysis by showing statistically significantly reduced forgetting as we upweight predicted examples for replay at fine-tuning. Project page: https://inklab.usc.edu/lm-forgetting-prediction/
• Abstract（参考訳）: 大規模言語モデル(LLM)は、微調整時に上流データを忘れることに悩まされる。 忘れを軽減しようとする努力にもかかわらず、上流の事例が新しく学習されたタスクに依存しているかどうか、どのように忘れられているかを調査する者はほとんどいない。 このような関連性に関する洞察は, 効率的に, 目的を絞った忘れの緩和を可能にする。 本稿では,M$新しいタスクの1つに,言語モデリングや命令チューニングの上流で発生する(対数パープレキシティ向上で測定される)忘れを,M$N$の行列で視覚化した,M$の新しいタスクの1つで微調整したLLMの例を実証的に分析する。 行列は単純な低ランクパターンを示し、しばしば上流の例と新しく学習されたタスクの乗算スカラー効果とよく近似される。 また、可視化と統計の微粒な関連性についても検討する。 連想の低ランクな性質を生かして、実証的な関連性に対して行列完備を伴う未知のタスクを微調整した場合、上流の例を忘れることを予測した。 これにより、上流データ全体に対する高価な推測なしで、忘れられたほとんどの例を素早く識別できる。 この手法は単純さに拘わらず、学習したタスクのセマンティックな関係を学習する従来のアプローチと、忘れを予測するためのLMとの上流の例より優れている。 我々は,微調整時のリプレイの重み付け例を予測し,統計的に忘れを著しく減らし,分析の実用性を実証した。 プロジェクトページ: https://inklab.usc.edu/lm-forgetting-prediction/

関連論文リスト

• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• Not All Demonstration Examples are Equally Beneficial: Reweighting Demonstration Examples for In-Context Learning [32.29118942982609]
  大規模言語モデル(LLM)は、最近、モデルをスケールアップしてICL(In-Context Learning)能力を獲得した。 本稿では,実演例における平均重量の決め方とICLにおける適用方法について検討する。 8つのテキスト分類タスクの実験結果から,本手法は従来のICLよりも高い性能を示した。
  論文  参考訳（メタデータ） (2023-10-12T13:15:11Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
  我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。 例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。 SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-26T21:03:46Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• An Empirical Study on Robustness to Spurious Correlations using Pre-trained Language Models [13.891423075375512]
  近年の研究では、BERTのような事前学習された言語モデルが、データセットの素早い相関性を改善することが示されている。 彼らの成功の鍵は、突発的な相関が保たない少数の反例から一般化することである。 以上の結果から,突発的な相関を克服する上で,データの多様性の重要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2020-07-14T02:34:59Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。