論文の概要: Better Hessians Matter: Studying the Impact of Curvature Approximations in Influence Functions

• arxiv url: http://arxiv.org/abs/2509.23437v1
• Date: Sat, 27 Sep 2025 18:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.226733
• Title: Better Hessians Matter: Studying the Impact of Curvature Approximations in Influence Functions
• Title（参考訳）: より良いヘッセン問題 : 曲率近似が影響関数に与える影響について
• Authors: Steve Hong, Runa Eschenhagen, Bruno Mlodozeniec, Richard Turner,
• Abstract要約: 制御された分類環境におけるヘッセン近似品質が影響関数属性に及ぼす影響について検討した。 実験の結果, ヘッセン近似の精度は一貫して, スコアの品質に優れた結果が得られた。 さらに,近年のヘッセン近似法の近似ステップを分解し,各ステップが帰属精度に与える影響を評価する。
• 参考スコア（独自算出の注目度）: 5.937280131734114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Influence functions offer a principled way to trace model predictions back to training data, but their use in deep learning is hampered by the need to invert a large, ill-conditioned Hessian matrix. Approximations such as Generalised Gauss-Newton (GGN) and Kronecker-Factored Approximate Curvature (K-FAC) have been proposed to make influence computation tractable, yet it remains unclear how the departure from exactness impacts data attribution performance. Critically, given the restricted regime in which influence functions are derived, it is not necessarily clear better Hessian approximations should even lead to better data attribution performance. In this paper, we investigate the effect of Hessian approximation quality on influence-function attributions in a controlled classification setting. Our experiments show that better Hessian approximations consistently yield better influence score quality, offering justification for recent research efforts towards that end. We further decompose the approximation steps for recent Hessian approximation methods and evaluate each step's influence on attribution accuracy. Notably, the mismatch between K-FAC eigenvalues and GGN/EK-FAC eigenvalues accounts for the majority of the error and influence loss. These findings highlight which approximations are most critical, guiding future efforts to balance computational tractability and attribution accuracy.
• Abstract（参考訳）: 影響関数は、モデル予測をトレーニングデータにトレースする原則的な方法を提供するが、深層学習におけるそれらの使用は、大きな不条件のヘッセン行列を反転させる必要性によって妨げられる。 Generalized Gauss-Newton (GGN) や Kronecker-Factored Approximate Curvature (K-FAC) のような近似は、影響計算を抽出可能にするために提案されている。 批判的に、影響関数が導出される制限された体制を考えると、ヘッセン近似がより良いデータ帰属性能をもたらすことは必ずしも明らかではない。 本稿では,ヘッセン近似品質が制御された分類環境における影響関数属性に及ぼす影響について検討する。 実験の結果, ヘッセン近似の精度が常に向上し, 最終段階に向けた最近の研究の正当性が示唆された。 さらに,近年のヘッセン近似法の近似ステップを分解し,各ステップが帰属精度に与える影響を評価する。 特に、K-FAC固有値とGGN/EK-FAC固有値のミスマッチは、エラーと影響損失の大部分を占める。 これらの結果はどの近似が最も重要かを示し、計算的トラクタビリティと帰属精度のバランスをとるための今後の取り組みを導いた。

関連論文リスト

• Understanding Data Influence with Differential Approximation [63.817689230826595]
  我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
  論文  参考訳（メタデータ） (2025-08-20T11:59:32Z)
• Revisiting Data Attribution for Influence Functions [13.88866465448849]
  本稿では,ディープラーニングにおける影響関数のデータ帰属能力について概説する。 提案手法の理論的基礎, 効率的な逆ヘッセンベクトル積推定のためのアルゴリズムの最近の進歩, およびデータ帰属と誤ラベル検出の有効性について考察する。
  論文  参考訳（メタデータ） (2025-08-10T11:15:07Z)
• Detecting Instruction Fine-tuning Attack on Language Models with Influence Function [6.760293300577228]
  インストラクションの微調整攻撃は、モデルアライメントを損なうとともに、現実のデプロイメントにおいてセキュリティリスクを引き起こす。 本稿では,影響関数を用いて攻撃を検知・緩和する,シンプルで効果的な手法を提案する。 我々は,大規模データセットに対する言語モデル命令の微調整攻撃を検出するための影響関数を初めて適用した。
  論文  参考訳（メタデータ） (2025-04-12T00:50:28Z)
• C-XGBoost: A tree boosting model for causal effect estimation [8.246161706153805]
  因果効果推定は、平均処理効果と、治療の条件平均処理効果を、利用可能なデータから得られる結果に推定することを目的としている。 本稿では,C-XGBoost という新たな因果推論モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-31T17:43:37Z)
• B-Learner: Quasi-Oracle Bounds on Heterogeneous Causal Effects Under Hidden Confounding [51.74479522965712]
  本稿では,B-Learnerと呼ばれるメタラーナーを提案する。 我々は、その推定が有効で、鋭く、効率的であることを証明し、既存の方法よりも一般的な条件下で構成推定器に対して準オーラル特性を持つことを示した。
  論文  参考訳（メタデータ） (2023-04-20T18:07:19Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• Inf-CP: A Reliable Channel Pruning based on Channel Influence [4.692400531340393]
  チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。 従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。 我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
  論文  参考訳（メタデータ） (2021-12-05T09:30:43Z)
• Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
  線形関数近似を用いた強化学習における非政治的評価問題について検討する。 本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:58:46Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。