論文の概要: Revisiting the Fragility of Influence Functions
- arxiv url: http://arxiv.org/abs/2303.12922v1
- Date: Wed, 22 Mar 2023 21:36:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 16:17:43.239869
- Title: Revisiting the Fragility of Influence Functions
- Title（参考訳）: 影響関数のフレギリティの再検討
- Authors: Jacob R. Epifano, Ravi P. Ramachandran, Aaron J. Masino, Ghulam Rasool
- Abstract要約: 残余が損失に与える影響を近似した影響関数は、ディープラーニングモデルの正確性や忠実性を検証するために提案されている。
ここでは、影響関数の検証に使用される主要な指標を分析する。
以上の結果から,検証作業が不明確になる可能性が示唆された。
- 参考スコア（独自算出の注目度）: 1.4699455652461724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the last few years, many works have tried to explain the predictions of
deep learning models. Few methods, however, have been proposed to verify the
accuracy or faithfulness of these explanations. Recently, influence functions,
which is a method that approximates the effect that leave-one-out training has
on the loss function, has been shown to be fragile. The proposed reason for
their fragility remains unclear. Although previous work suggests the use of
regularization to increase robustness, this does not hold in all cases. In this
work, we seek to investigate the experiments performed in the prior work in an
effort to understand the underlying mechanisms of influence function fragility.
First, we verify influence functions using procedures from the literature under
conditions where the convexity assumptions of influence functions are met.
Then, we relax these assumptions and study the effects of non-convexity by
using deeper models and more complex datasets. Here, we analyze the key metrics
and procedures that are used to validate influence functions. Our results
indicate that the validation procedures may cause the observed fragility.
- Abstract（参考訳）: 過去数年間、ディープラーニングモデルの予測を説明する多くの研究が試みられている。
しかし、これらの説明の正確さや忠実さを検証する方法はほとんど提案されていない。
近年,退学訓練が損失関数に与える影響を近似する手法である影響関数が脆弱であることが示されている。
その脆弱さの理由はまだ不明である。
以前の研究は、ロバスト性を高めるために正規化を使うことを示唆していたが、全てのケースでこれは成り立たない。
本研究では, 影響関数の脆弱性のメカニズムを理解するために, 先行研究で実施した実験について検討する。
まず, 影響関数の凸性仮定が満たされた条件下で, 文献からの手順を用いて影響関数を検証する。
そして、これらの仮定を緩和し、より深いモデルとより複雑なデータセットを用いて非凸性の効果を研究する。
本稿では,影響関数を検証するための重要な指標と手順を分析する。
以上の結果から, 検証手順が脆弱性の原因となる可能性が示唆された。
関連論文リスト
- Do Influence Functions Work on Large Language Models? [10.463762448166714]
影響関数は、個々のトレーニングデータポイントがモデルの予測に与える影響を定量化することを目的としている。
我々は,複数のタスクにまたがる影響関数を評価し,ほとんどの設定において不整合なパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-09-30T06:50:18Z) - A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。
突発効果の非パラメトリック分解を可能にする最初の結果を証明する。
説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
論文 参考訳（メタデータ） (2023-06-08T09:40:28Z) - If Influence Functions are the Answer, Then What is the Question? [7.873458431535409]
影響関数は、モデルの学習パラメータに対する1つのトレーニングデータポイントの除去の効果を効率的に推定する。
影響推定は線形モデルの残余再トレーニングとよく一致しているが、最近の研究では、ニューラルネットワークではこのアライメントが不十分であることが示されている。
論文 参考訳（メタデータ） (2022-09-12T16:17:43Z) - What's the Harm? Sharp Bounds on the Fraction Negatively Affected by
Treatment [58.442274475425144]
我々は,これらの関数がどの程度の速さで学習されたかに関わらず,効率の良い頑健な推論アルゴリズムを開発した。
シミュレーション研究および失業者のキャリアカウンセリングのケーススタディにおいて,本手法を実証する。
論文 参考訳（メタデータ） (2022-05-20T17:36:33Z) - Inf-CP: A Reliable Channel Pruning based on Channel Influence [4.692400531340393]
チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。
従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。
我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
論文 参考訳（メタデータ） (2021-12-05T09:30:43Z) - Causal Effect Estimation using Variational Information Bottleneck [19.6760527269791]
因果推論とは、介入が適用されるときの因果関係における因果効果を推定することである。
変分情報ボトルネック(CEVIB)を用いて因果効果を推定する手法を提案する。
論文 参考訳（メタデータ） (2021-10-26T13:46:12Z) - Causal Inference Under Unmeasured Confounding With Negative Controls: A
Minimax Learning Approach [84.29777236590674]
すべての共同設立者が観察されず、代わりに負の制御が利用可能である場合の因果パラメータの推定について検討する。
最近の研究は、2つのいわゆるブリッジ関数による同定と効率的な推定を可能にする方法を示している。
論文 参考訳（メタデータ） (2021-03-25T17:59:19Z) - Influence Functions in Deep Learning Are Fragile [52.31375893260445]
影響関数は、テスト時間予測におけるサンプルの効果を近似する。
影響評価は浅いネットワークでは かなり正確です
ヘッセン正則化は、高品質な影響推定を得るために重要である。
論文 参考訳（メタデータ） (2020-06-25T18:25:59Z) - Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals [53.484562601127195]
調査結果から行動学的結論を推測できない点を指摘する。
我々は、どの情報がエンコードされているかではなく、その情報がどのように使われているかに焦点を当てた代替手段を提供する。
論文 参考訳（メタデータ） (2020-06-01T15:00:11Z) - Explaining Black Box Predictions and Unveiling Data Artifacts through
Influence Functions [55.660255727031725]
影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。
本稿では,代表課題における影響関数と共通単語順応法の比較を行う。
我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
論文 参考訳（メタデータ） (2020-05-14T00:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。