論文の概要: What Will My Model Forget? Forecasting Forgotten Examples in Language Model Refinement

• arxiv url: http://arxiv.org/abs/2402.01865v2
• Date: Thu, 20 Jun 2024 06:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 05:38:47.875288
• Title: What Will My Model Forget? Forecasting Forgotten Examples in Language Model Refinement
• Title（参考訳）: 私のモデルは何を忘れるのか? 言語モデルリファインメントにおける忘れられた例を予見する
• Authors: Xisen Jin, Xiang Ren,
• Abstract要約: ワイルドにデプロイされた言語モデルはエラーを起こします。 修正されたエラーインスタンスでモデルを更新することは、破滅的な忘れを引き起こす。 本稿では,事前学習例のソフトマックス前のロジットスコアの変化がオンライン学習例に類似しているという観察に基づいて,部分的に解釈可能な予測モデルを提案する。
• 参考スコア（独自算出の注目度）: 38.93348195407474
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Language models deployed in the wild make errors. However, simply updating the model with the corrected error instances causes catastrophic forgetting -- the updated model makes errors on instances learned during the instruction tuning or upstream training phase. Randomly replaying upstream data yields unsatisfactory performance and often comes with high variance and poor controllability. To this end, we try to forecast upstream examples that will be forgotten due to a model update for improved controllability of the replay process and interpretability. We train forecasting models given a collection of online learned examples and corresponding forgotten upstream pre-training examples. We propose a partially interpretable forecasting model based on the observation that changes in pre-softmax logit scores of pretraining examples resemble that of online learned examples, which performs decently on BART but fails on T5 models. We further show a black-box classifier based on inner products of example representations achieves better forecasting performance over a series of setups. Finally, we show that we reduce forgetting of upstream pretraining examples by replaying examples that are forecasted to be forgotten, demonstrating the practical utility of forecasting example forgetting.
• Abstract（参考訳）: ワイルドにデプロイされた言語モデルはエラーを起こします。 しかし、単に修正されたエラーインスタンスでモデルを更新するだけで、破滅的な忘れ物が発生する。更新されたモデルは、インストラクションチューニングや上流トレーニングフェーズで学んだインスタンスのエラーを発生させる。 上流データのランダムな再生は不満足なパフォーマンスをもたらし、しばしば高いばらつきと制御性が伴います。 この目的のために、リプレイプロセスの制御性や解釈性を改善するためのモデル更新のために忘れられるアップストリームの例を予測しようと試みる。 オンライン学習例とそれに対応する上流事前学習例の集合から予測モデルを訓練する。 本稿では,事前学習例のソフトマックス前のロジットスコアの変化がオンライン学習例に似ており,BART上では良好に動作するが,T5モデルでは失敗する,という観察に基づく部分的に解釈可能な予測モデルを提案する。 さらに,実例表現の内積に基づくブラックボックス分類器により,一連の設定よりも優れた予測性能が得られることを示す。 最後に,上流の事前学習例を忘れないように予測した例を再生することで,上流の事前学習例を忘れることを減らすことを示し,実例を忘れることの実用性を実証した。

関連論文リスト

• Post-Hoc Reversal: Are We Selecting Models Prematurely? [17.302755995718123]
  ポストホック変換を適用した後に性能傾向が逆転するポストホック逆転現象を示す。 そこで本研究では,ポストホック選択法を提案する。
  論文  参考訳（メタデータ） (2024-04-11T14:58:19Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Measuring Forgetting of Memorized Training Examples [80.9188503645436]
  機械学習モデルは、トレーニングデータ記憶と様々な形態記憶の2つの矛盾する現象を示す。 特定の例では、モデルは特定のトレーニングに過度に適合し、最終的にはプライバシー攻撃の影響を受けやすい。 我々は、決定論的に忘れる例を潜在的な説明として識別し、モデルが時間とともに訓練された例を経験的に忘れないことを示す。
  論文  参考訳（メタデータ） (2022-06-30T20:48:26Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Training Deep Models to be Explained with Fewer Examples [40.58343220792933]
  我々は、サンプル数を減らすために、スパース正規化器と同時に予測モデルと説明モデルを訓練する。 いくつかのデータセットを用いた実験により,提案手法は予測性能を維持しながら忠実性を向上させることを示した。
  論文  参考訳（メタデータ） (2021-12-07T05:39:21Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Explainable boosted linear regression for time series forecasting [0.1876920697241348]
  時系列予測では、過去の観測を収集し分析し、将来の観測を外挿するモデルを開発する。 時系列予測のための説明可能な強化線形回帰(EBLR)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-18T22:31:42Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。