論文の概要: Simfluence: Modeling the Influence of Individual Training Examples by
Simulating Training Runs
- arxiv url: http://arxiv.org/abs/2303.08114v1
- Date: Tue, 14 Mar 2023 17:47:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 13:49:41.057646
- Title: Simfluence: Modeling the Influence of Individual Training Examples by
Simulating Training Runs
- Title(参考訳): simfluence: トレーニング実行のシミュレーションによる個々のトレーニング例の影響のモデル化
- Authors: Kelvin Guu, Albert Webson, Ellie Pavlick, Lucas Dixon, Ian Tenney,
Tolga Bolukbasi
- Abstract要約: トレーニングデータ属性(TDA)メソッドは、任意の例に対するモデルの予測を、特定の影響力のあるトレーニング例に遡る。
そこで本研究では,TDAの新しいパラダイムであるSimfluenceを提案する。
シムフルエンスは非付加的な相互作用を捉え、個々の損失のスパイクな軌道を驚くほどの忠実さで予測することができる。
- 参考スコア(独自算出の注目度): 27.314239745883967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training data attribution (TDA) methods offer to trace a model's prediction
on any given example back to specific influential training examples. Existing
approaches do so by assigning a scalar influence score to each training
example, under a simplifying assumption that influence is additive. But in
reality, we observe that training examples interact in highly non-additive ways
due to factors such as inter-example redundancy, training order, and curriculum
learning effects.
To study such interactions, we propose Simfluence, a new paradigm for TDA
where the goal is not to produce a single influence score per example, but
instead a training run simulator: the user asks, ``If my model had trained on
example $z_1$, then $z_2$, ..., then $z_n$, how would it behave on
$z_{test}$?''; the simulator should then output a simulated training run, which
is a time series predicting the loss on $z_{test}$ at every step of the
simulated run. This enables users to answer counterfactual questions about what
their model would have learned under different training curricula, and to
directly see where in training that learning would occur.
We present a simulator, Simfluence-Linear, that captures non-additive
interactions and is often able to predict the spiky trajectory of individual
example losses with surprising fidelity. Furthermore, we show that existing TDA
methods such as TracIn and influence functions can be viewed as special cases
of Simfluence-Linear. This enables us to directly compare methods in terms of
their simulation accuracy, subsuming several prior TDA approaches to
evaluation. In experiments on large language model (LLM) fine-tuning, we show
that our method predicts loss trajectories with much higher accuracy than
existing TDA methods (doubling Spearman's correlation and reducing mean-squared
error by 75%) across several tasks, models, and training methods.
- Abstract(参考訳): トレーニングデータ属性(TDA)メソッドは、任意の例に対するモデルの予測を、特定の影響力のあるトレーニング例に遡ることができる。
既存のアプローチでは、影響が付加的であるという単純な仮定の下で、各トレーニング例にスカラー影響スコアを割り当てている。
しかし,実のところ,実例では,実例間冗長性,訓練順序,カリキュラム学習効果などの要因により,高度に非加法的な相互作用がみられた。
このような相互作用を研究するために、我々はTDAの新しいパラダイムであるSimfluenceを提案する。このパラダイムは、サンプルあたりの1つの影響スコアを生成するのではなく、トレーニング実行シミュレータを目標とするものだ。 "もし、私のモデルが例$z_1$, then $z_2$, ..., then $z_n$でトレーニングされたなら、$z_{test}$?'でどのように振る舞うか?" と、シミュレータはシミュレートされた実行のすべてのステップで、$z_{test}$の損失を予測する時系列であるシミュレートされたトレーニング実行を出力すべきである。
これにより、ユーザーは異なるトレーニングカリキュラムの下でモデルが学習したであろうことに関する反現実的な質問に答え、学習がどこで起こるかを直接確認することができる。
我々は,非加法的相互作用を捉えるシミュレータであるシムフルエンス線形(simfluence-linear)を提案する。
さらに,TracInやインフルエンス関数といった既存のTDA手法をSimfluence-Linearの特殊なケースとみなせることを示す。
これにより,提案手法をシミュレーション精度で直接比較し,いくつかの先行TDA手法による評価を行うことができる。
大規模言語モデル(LLM)の微調整実験において,提案手法は既存のTDA法(スピアマンの相関を2倍にし,平均二乗誤差を75%削減する)に比べて,いくつかのタスク,モデル,トレーニング手法ではるかに高精度に損失軌跡を予測する。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - The Mirrored Influence Hypothesis: Efficient Data Influence Estimation
by Harnessing Forward Passes [32.11451526104394]
我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。
具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。
トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-02-14T03:43:05Z) - Unlearning Reveals the Influential Training Data of Language Models [37.02159903174132]
本稿では、トレーニングデータセットの影響をトレーニングモデルから学習することによって推定するUnTracを提案する。
我々は,本手法が有毒,偏り,不合理なコンテンツの生成に対する事前学習データセットの影響を評価できるかどうかを実証的に検討する。
論文 参考訳(メタデータ) (2024-01-26T23:17:31Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳(メタデータ) (2023-10-19T17:57:16Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳(メタデータ) (2022-02-09T12:03:02Z) - An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。
単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
論文 参考訳(メタデータ) (2021-04-09T01:03:17Z) - Efficient Estimation of Influence of a Training Instance [56.29080605123304]
本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。
このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。
提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
論文 参考訳(メタデータ) (2020-12-08T04:31:38Z) - Pair the Dots: Jointly Examining Training History and Test Stimuli for
Model Interpretability [44.60486560836836]
モデルからの予測は、学習履歴とテスト刺激の組み合わせによって行われる。
モデルの予測を解釈する既存の方法は、テスト刺激または学習履歴の1つの側面しかキャプチャできない。
本研究では,学習履歴とテスト刺激を共同で調べることで,モデルの予測を解釈しやすくするための,効率的かつ異なるアプローチを提案する。
論文 参考訳(メタデータ) (2020-10-14T10:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。