論文の概要: What Will My Model Forget? Forecasting Forgotten Examples in Language Model Refinement

• arxiv url: http://arxiv.org/abs/2402.01865v1
• Date: Fri, 2 Feb 2024 19:43:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 23:53:45.913420
• Title: What Will My Model Forget? Forecasting Forgotten Examples in Language Model Refinement
• Title（参考訳）: 私のモデルは何を忘れるの? 言語モデルリファインメントにおける予測の例
• Authors: Xisen Jin, Xiang Ren
• Abstract要約: ワイルドにデプロイされた言語モデルはエラーを起こします。 修正されたエラーインスタンスでモデルを更新することは、破滅的な忘れを引き起こす。 本稿では,事前学習例のソフトマックス前のロジットスコアの変化がオンライン学習例に類似しているという観察に基づいて,部分的に解釈可能な予測モデルを提案する。
• 参考スコア（独自算出の注目度）: 45.994751348276125
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Language models deployed in the wild make errors. However, simply updating the model with the corrected error instances causes catastrophic forgetting -- the updated model makes errors on instances learned during the instruction tuning or upstream training phase. Randomly replaying upstream data yields unsatisfactory performance and often comes with high variance and poor controllability. To this end, we try to forecast upstream examples that will be forgotten due to a model update for improved controllability of the replay process and interpretability. We train forecasting models given a collection of online learned examples and corresponding forgotten upstream pre-training examples. We propose a partially interpretable forecasting model based on the observation that changes in pre-softmax logit scores of pretraining examples resemble that of online learned examples, which performs decently on BART but fails on T5 models. We further show a black-box classifier based on inner products of example representations achieves better forecasting performance over a series of setups. Finally, we show that we reduce forgetting of upstream pretraining examples by replaying examples that are forecasted to be forgotten, demonstrating the practical utility of forecasting example forgetting.
• Abstract（参考訳）: 野放しにデプロイされた言語モデルはエラーを起こします。 しかし、単に修正されたエラーインスタンスでモデルを更新するだけで、壊滅的な忘れる - 更新されたモデルは、命令のチューニングや上流のトレーニングフェーズで学習したインスタンスのエラーを発生させる。 上流データのランダムな再生は不満足なパフォーマンスをもたらし、しばしば高いばらつきと制御性が伴います。 この目的のために,リプレイプロセスの制御性向上と解釈性向上のため,モデル更新によって忘れられる上流の例を予測しようとしている。 オンライン学習例とそれに対応する上流事前学習例の集合から予測モデルを訓練する。 本稿では,事前学習例のソフトマックス前のロジットスコアの変化がオンライン学習例に似ており,BARTでは良好に動作するが,T5モデルでは失敗する,という観察に基づく部分的に解釈可能な予測モデルを提案する。 さらに,サンプル表現の内積に基づくブラックボックス分類器が,一連の設定よりも優れた予測性能を実現することを示す。 最後に,忘れられると予測される例を再生して上流事前学習例の忘れ込みを低減し,忘れられる例の予測の実用性を示す。

関連論文リスト

• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Demystifying Language Model Forgetting with Low-rank Example Associations [38.93348195407474]
  大規模言語モデル(LLM)は、微調整時に上流データを忘れることに悩まされる。 我々は、言語モデリングや微調整後の命令チューニングの上流の例で発生する忘れを実証的に分析する。
  論文  参考訳（メタデータ） (2024-06-20T06:46:23Z)
• Post-Hoc Reversal: Are We Selecting Models Prematurely? [13.910702424593797]
  ポストホック変換を適用した後に性能傾向が逆転するポストホック逆転現象を示す。 予備的な分析は、これらの変換が、誤ラベルされた例の影響を抑えることによって、逆転を引き起こすことを示唆している。 ポストホック選択(post-hoc selection)は、ポストホックメトリクスがモデル開発決定を通知するシンプルな手法である。
  論文  参考訳（メタデータ） (2024-04-11T14:58:19Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Measuring Forgetting of Memorized Training Examples [80.9188503645436]
  機械学習モデルは、トレーニングデータ記憶と様々な形態記憶の2つの矛盾する現象を示す。 特定の例では、モデルは特定のトレーニングに過度に適合し、最終的にはプライバシー攻撃の影響を受けやすい。 我々は、決定論的に忘れる例を潜在的な説明として識別し、モデルが時間とともに訓練された例を経験的に忘れないことを示す。
  論文  参考訳（メタデータ） (2022-06-30T20:48:26Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Training Deep Models to be Explained with Fewer Examples [40.58343220792933]
  我々は、サンプル数を減らすために、スパース正規化器と同時に予測モデルと説明モデルを訓練する。 いくつかのデータセットを用いた実験により,提案手法は予測性能を維持しながら忠実性を向上させることを示した。
  論文  参考訳（メタデータ） (2021-12-07T05:39:21Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。