論文の概要: If Influence Functions are the Answer, Then What is the Question?

• arxiv url: http://arxiv.org/abs/2209.05364v1
• Date: Mon, 12 Sep 2022 16:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 12:40:25.429449
• Title: If Influence Functions are the Answer, Then What is the Question?
• Title（参考訳）: 影響関数が答えであるなら、質問とは何か?
• Authors: Juhan Bae, Nathan Ng, Alston Lo, Marzyeh Ghassemi, Roger Grosse
• Abstract要約: 影響関数は、モデルの学習パラメータに対する1つのトレーニングデータポイントの除去の効果を効率的に推定する。 影響推定は線形モデルの残余再トレーニングとよく一致しているが、最近の研究では、ニューラルネットワークではこのアライメントが不十分であることが示されている。
• 参考スコア（独自算出の注目度）: 7.873458431535409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Influence functions efficiently estimate the effect of removing a single training data point on a model's learned parameters. While influence estimates align well with leave-one-out retraining for linear models, recent works have shown this alignment is often poor in neural networks. In this work, we investigate the specific factors that cause this discrepancy by decomposing it into five separate terms. We study the contributions of each term on a variety of architectures and datasets and how they vary with factors such as network width and training time. While practical influence function estimates may be a poor match to leave-one-out retraining for nonlinear networks, we show they are often a good approximation to a different object we term the proximal Bregman response function (PBRF). Since the PBRF can still be used to answer many of the questions motivating influence functions, such as identifying influential or mislabeled examples, our results suggest that current algorithms for influence function estimation give more informative results than previous error analyses would suggest.
• Abstract（参考訳）: 影響関数は、モデルの学習パラメータに対する単一のトレーニングデータポイントの削除の効果を効率的に推定する。 影響推定は線形モデルのリトレーニングとよく合致するが、最近の研究では、ニューラルネットワークではこのアライメントが貧弱であることが示されている。 本研究では,この相違の原因となる要因を5つの項に分解して検討する。 さまざまなアーキテクチャやデータセットに対する各用語のコントリビューションと,ネットワーク幅やトレーニング時間といった要因による違いについて検討する。 実効的な影響関数推定は非線形ネットワークにおける一対一再トレーニングに適さないかもしれないが、近位ブレグマン応答関数 (PBRF) と呼ばれる別の対象に対してよく近似できることを示す。 pbrfは影響力のある例や誤記のある例を同定するなど,影響関数を動機づける多くの質問に依然として答えることができるため,影響関数推定のための現在のアルゴリズムは,従来の誤差解析よりも有意義な結果をもたらすことを示唆する。

関連論文リスト

• Do Influence Functions Work on Large Language Models? [10.463762448166714]
  影響関数は、個々のトレーニングデータポイントがモデルの予測に与える影響を定量化することを目的としている。 我々は,複数のタスクにまたがる影響関数を評価し,ほとんどの設定において不整合なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-30T06:50:18Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Inf-CP: A Reliable Channel Pruning based on Channel Influence [4.692400531340393]
  チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。 従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。 我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
  論文  参考訳（メタデータ） (2021-12-05T09:30:43Z)
• FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging [112.19994766375231]
  影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:02:34Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)
• RelatIF: Identifying Explanatory Training Examples via Relative Influence [13.87851325824883]
  インフルエンス関数を使用して、関連するトレーニング例を特定し、機械学習モデルの予測を"説明"することを望んでいます。 本稿では,グローバルな影響に制約を課す最適化目標を用いて,関連するトレーニング事例を選択するための新しい基準であるRelatIFを紹介する。 経験的評価では、RelatIFで返される例は影響関数を用いた例に比べて直感的であることが判明した。
  論文  参考訳（メタデータ） (2020-03-25T20:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。