論文の概要: Efficient Estimation of Influence of a Training Instance
- arxiv url: http://arxiv.org/abs/2012.04207v1
- Date: Tue, 8 Dec 2020 04:31:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 17:37:06.606343
- Title: Efficient Estimation of Influence of a Training Instance
- Title(参考訳): 訓練事例の影響の効率的な評価
- Authors: Sosuke Kobayashi, Sho Yokoi, Jun Suzuki, Kentaro Inui
- Abstract要約: 本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。
このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。
提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
- 参考スコア(独自算出の注目度): 56.29080605123304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the influence of a training instance on a neural network model
leads to improving interpretability. However, it is difficult and inefficient
to evaluate the influence, which shows how a model's prediction would be
changed if a training instance were not used. In this paper, we propose an
efficient method for estimating the influence. Our method is inspired by
dropout, which zero-masks a sub-network and prevents the sub-network from
learning each training instance. By switching between dropout masks, we can use
sub-networks that learned or did not learn each training instance and estimate
its influence. Through experiments with BERT and VGGNet on classification
datasets, we demonstrate that the proposed method can capture training
influences, enhance the interpretability of error predictions, and cleanse the
training dataset for improving generalization.
- Abstract(参考訳): トレーニングインスタンスがニューラルネットワークモデルに与える影響を理解することで、解釈性が向上する。
しかし,トレーニングインスタンスを使用しない場合,モデルの予測がどのように変化するかを示すため,影響の評価は困難かつ非効率である。
本稿では,その影響を効率的に推定する手法を提案する。
提案手法は,サブネットワークをゼロマスクし,サブネットワークが各トレーニングインスタンスを学習するのを防ぐドロップアウトにインスパイアされている。
ドロップアウトマスクを切り替えることで、トレーニングインスタンスを学習あるいは学習しなかったサブネットワークを使用して、その影響を見積もることができます。
bert と vggnet による分類データセットの実験を通じて,提案手法がトレーニングの影響を捉え,誤り予測の解釈性を高め,一般化を改善するためのトレーニングデータセットをクリーン化できることを実証する。
関連論文リスト
- The Mirrored Influence Hypothesis: Efficient Data Influence Estimation
by Harnessing Forward Passes [32.11451526104394]
我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。
具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。
トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-02-14T03:43:05Z) - Unlearning Reveals the Influential Training Data of Language Models [37.02159903174132]
本稿では、トレーニングデータセットの影響をトレーニングモデルから学習することによって推定するUnTracを提案する。
我々は,本手法が有毒,偏り,不合理なコンテンツの生成に対する事前学習データセットの影響を評価できるかどうかを実証的に検討する。
論文 参考訳(メタデータ) (2024-01-26T23:17:31Z) - Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳(メタデータ) (2023-07-07T03:07:26Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳(メタデータ) (2023-01-16T14:25:02Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳(メタデータ) (2022-02-09T12:03:02Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳(メタデータ) (2021-09-22T10:47:51Z) - Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning [16.765461276790944]
自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。
ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。
分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
論文 参考訳(メタデータ) (2021-01-21T17:17:30Z) - Using Cross-Loss Influence Functions to Explain Deep Network
Representations [1.7778609937758327]
トレーニングやテスト設定のミスマッチに対処するために,影響関数を拡張できることが示される。
その結果, 教師なし, 自己監督型トレーニングの実施例の影響を, 教師付きテストの目的に対して計算できることがわかった。
論文 参考訳(メタデータ) (2020-12-03T03:43:26Z) - Influence Functions in Deep Learning Are Fragile [52.31375893260445]
影響関数は、テスト時間予測におけるサンプルの効果を近似する。
影響評価は浅いネットワークでは かなり正確です
ヘッセン正則化は、高品質な影響推定を得るために重要である。
論文 参考訳(メタデータ) (2020-06-25T18:25:59Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。