論文の概要: Influence Functions in Deep Learning Are Fragile

• arxiv url: http://arxiv.org/abs/2006.14651v2
• Date: Wed, 10 Feb 2021 23:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:21:23.466373
• Title: Influence Functions in Deep Learning Are Fragile
• Title（参考訳）: 深層学習における影響関数は脆弱である
• Authors: Samyadeep Basu, Philip Pope, Soheil Feizi
• Abstract要約: 影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
• 参考スコア（独自算出の注目度）: 52.31375893260445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Influence functions approximate the effect of training samples in test-time predictions and have a wide variety of applications in machine learning interpretability and uncertainty estimation. A commonly-used (first-order) influence function can be implemented efficiently as a post-hoc method requiring access only to the gradients and Hessian of the model. For linear models, influence functions are well-defined due to the convexity of the underlying loss function and are generally accurate even across difficult settings where model changes are fairly large such as estimating group influences. Influence functions, however, are not well-understood in the context of deep learning with non-convex loss functions. In this paper, we provide a comprehensive and large-scale empirical study of successes and failures of influence functions in neural network models trained on datasets such as Iris, MNIST, CIFAR-10 and ImageNet. Through our extensive experiments, we show that the network architecture, its depth and width, as well as the extent of model parameterization and regularization techniques have strong effects in the accuracy of influence functions. In particular, we find that (i) influence estimates are fairly accurate for shallow networks, while for deeper networks the estimates are often erroneous; (ii) for certain network architectures and datasets, training with weight-decay regularization is important to get high-quality influence estimates; and (iii) the accuracy of influence estimates can vary significantly depending on the examined test points. These results suggest that in general influence functions in deep learning are fragile and call for developing improved influence estimation methods to mitigate these issues in non-convex setups.
• Abstract（参考訳）: 影響関数は、テスト時間予測におけるトレーニングサンプルの効果を近似し、機械学習の解釈可能性と不確実性推定に幅広い応用がある。 一般的な(一階の)影響関数は、モデルの勾配とヘシアンにのみアクセスを必要とするポストホック法として効率的に実装することができる。 線形モデルでは、影響関数は基礎となる損失関数の凸性によって明確に定義され、グループの影響を推定するなど、モデルの変化がかなり大きい難しい状況でも一般に正確である。 しかし、影響関数は非凸損失関数を持つディープラーニングの文脈ではよく理解されていない。 本稿では、Iris、MNIST、CIFAR-10、ImageNetなどのデータセットでトレーニングされたニューラルネットワークモデルにおいて、影響関数の成功と失敗に関する包括的かつ大規模な実証的研究を行う。 広範にわたる実験により,ネットワークアーキテクチャ,深さ,幅,モデルパラメータ化および正規化の程度が,影響関数の精度に強い影響を与えることを示した。 特に、私たちはそれを見つけます。 (i) 影響推定は浅いネットワークではかなり正確であるが、より深いネットワークではしばしば誤っている。 (ii)特定のネットワークアーキテクチャやデータセットにおいて、重み付け正規化によるトレーニングは、高品質な影響評価を得る上で重要である。 (iii) 影響推定の精度は, 試験点によって大きく異なる。 これらの結果から,ディープラーニングにおける一般的な影響関数は脆弱であり,非凸環境における影響評価手法の改良が求められている。

関連論文リスト

• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Do Influence Functions Work on Large Language Models? [10.463762448166714]
  影響関数は、個々のトレーニングデータポイントがモデルの予測に与える影響を定量化することを目的としている。 我々は,複数のタスクにまたがる影響関数を評価し,ほとんどの設定において不整合なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-30T06:50:18Z)
• Most Influential Subset Selection: Challenges, Promises, and Beyond [9.479235005673683]
  我々は,最も集団的影響の大きいトレーニングサンプルのサブセットを特定することを目的とした,MISS(Most Influential Subset Selection)問題について検討する。 我々は、MISにおける一般的なアプローチを包括的に分析し、その強みと弱点を解明する。 本稿では,これらを反復的に適用した適応バージョンが,試料間の相互作用を効果的に捕捉できることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T20:00:23Z)
• Studying Large Language Model Generalization with Influence Functions [29.577692176892135]
  モデルパラメータ(とそれによる出力)は、トレーニングセットにシーケンスが追加された場合、どのように変化するのか? 我々はEigenvalue-corrected Kronecker-Factored Approximate Curvature (EK-FAC)近似を用いて、最大52億のパラメータを持つ大規模言語モデル(LLM)まで影響関数をスケールする。 本研究では, LLMの一般化パターンについて検討し, 影響パターンの空間性, スケールによる抽象化の増大, 数学とプログラミングの能力, 言語間一般化, ロールプレイング行動などを検討した。
  論文  参考訳（メタデータ） (2023-08-07T04:47:42Z)
• If Influence Functions are the Answer, Then What is the Question? [7.873458431535409]
  影響関数は、モデルの学習パラメータに対する1つのトレーニングデータポイントの除去の効果を効率的に推定する。 影響推定は線形モデルの残余再トレーニングとよく一致しているが、最近の研究では、ニューラルネットワークではこのアライメントが不十分であることが示されている。
  論文  参考訳（メタデータ） (2022-09-12T16:17:43Z)
• Inf-CP: A Reliable Channel Pruning based on Channel Influence [4.692400531340393]
  チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。 従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。 我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
  論文  参考訳（メタデータ） (2021-12-05T09:30:43Z)
• FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging [112.19994766375231]
  影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:02:34Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。