論文の概要: Efficient Estimation of Influence of a Training Instance

• arxiv url: http://arxiv.org/abs/2012.04207v1
• Date: Tue, 8 Dec 2020 04:31:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 17:37:06.606343
• Title: Efficient Estimation of Influence of a Training Instance
• Title（参考訳）: 訓練事例の影響の効率的な評価
• Authors: Sosuke Kobayashi, Sho Yokoi, Jun Suzuki, Kentaro Inui
• Abstract要約: 本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
• 参考スコア（独自算出の注目度）: 56.29080605123304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the influence of a training instance on a neural network model leads to improving interpretability. However, it is difficult and inefficient to evaluate the influence, which shows how a model's prediction would be changed if a training instance were not used. In this paper, we propose an efficient method for estimating the influence. Our method is inspired by dropout, which zero-masks a sub-network and prevents the sub-network from learning each training instance. By switching between dropout masks, we can use sub-networks that learned or did not learn each training instance and estimate its influence. Through experiments with BERT and VGGNet on classification datasets, we demonstrate that the proposed method can capture training influences, enhance the interpretability of error predictions, and cleanse the training dataset for improving generalization.
• Abstract（参考訳）: トレーニングインスタンスがニューラルネットワークモデルに与える影響を理解することで、解釈性が向上する。 しかし,トレーニングインスタンスを使用しない場合,モデルの予測がどのように変化するかを示すため,影響の評価は困難かつ非効率である。 本稿では,その影響を効率的に推定する手法を提案する。 提案手法は,サブネットワークをゼロマスクし,サブネットワークが各トレーニングインスタンスを学習するのを防ぐドロップアウトにインスパイアされている。 ドロップアウトマスクを切り替えることで、トレーニングインスタンスを学習あるいは学習しなかったサブネットワークを使用して、その影響を見積もることができます。 bert と vggnet による分類データセットの実験を通じて,提案手法がトレーニングの影響を捉え,誤り予測の解釈性を高め,一般化を改善するためのトレーニングデータセットをクリーン化できることを実証する。

関連論文リスト

• Empirical influence functions to understand the logic of fine-tuning [1.9116784879310031]
  微調整を用いて測定した経験的影響を用いて,個別のトレーニングサンプルがアウトプットに与える影響を実証する。 これらのデシダラタは、単純な畳み込みネットワークと現代のLLMの両方に違反していることを示す。 この結果から,一般的なモデルでは論理を一般化・実行できないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-01T17:31:06Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• Unlearning Traces the Influential Training Data of Language Models [31.33791825286853]
  アンラーニングは、トレーニングデータセットがモデルの性能に与える影響をトレースする。 よりスケーラブルなアプローチであるUnTrac-Invを提案し、テストデータセットを解放し、トレーニングデータセットの未学習モデルを評価する。
  論文  参考訳（メタデータ） (2024-01-26T23:17:31Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)
• Using Cross-Loss Influence Functions to Explain Deep Network Representations [1.7778609937758327]
  トレーニングやテスト設定のミスマッチに対処するために,影響関数を拡張できることが示される。 その結果, 教師なし, 自己監督型トレーニングの実施例の影響を, 教師付きテストの目的に対して計算できることがわかった。
  論文  参考訳（メタデータ） (2020-12-03T03:43:26Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。