論文の概要: Towards Robust Influence Functions with Flat Validation Minima

• arxiv url: http://arxiv.org/abs/2505.19097v1
• Date: Sun, 25 May 2025 11:20:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.902883
• Title: Towards Robust Influence Functions with Flat Validation Minima
• Title（参考訳）: フラット検証最小値を用いたロバスト影響関数に向けて
• Authors: Xichen Ye, Yifan Wu, Weizhong Zhang, Cheng Jin, Yifan Chen,
• Abstract要約: インフルエンス関数(IF)は、個々のトレーニングサンプルがモデル予測に与える影響を評価するために広く用いられている手法である。 既存のIF手法は、ディープニューラルネットワークにおいて信頼性の高い影響推定を提供しないことが多い。 本研究では,フラットな検証ミニマに特化して設計された影響関数の新たな推定形式を提案する。
• 参考スコア（独自算出の注目度）: 23.747476840059935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Influence Function (IF) is a widely used technique for assessing the impact of individual training samples on model predictions. However, existing IF methods often fail to provide reliable influence estimates in deep neural networks, particularly when applied to noisy training data. This issue does not stem from inaccuracies in parameter change estimation, which has been the primary focus of prior research, but rather from deficiencies in loss change estimation, specifically due to the sharpness of validation risk. In this work, we establish a theoretical connection between influence estimation error, validation set risk, and its sharpness, underscoring the importance of flat validation minima for accurate influence estimation. Furthermore, we introduce a novel estimation form of Influence Function specifically designed for flat validation minima. Experimental results across various tasks validate the superiority of our approach.
• Abstract（参考訳）: インフルエンス関数(IF)は、個々のトレーニングサンプルがモデル予測に与える影響を評価するために広く用いられている手法である。 しかし、既存のIF手法は、特にノイズの多いトレーニングデータに適用した場合、ディープニューラルネットワークにおいて信頼性の高い影響推定を提供しないことが多い。 この問題は、従来の研究の主要な焦点であったパラメータ変化推定の不正確さではなく、特に検証リスクの鋭さから、損失変化推定の欠陥が原因である。 本研究では, 影響推定誤差, 検証セットリスク, およびその鋭さの理論的関連性を確立し, 正確な影響推定のための平坦な検証最小値の重要性を強調する。 さらに、フラットな検証ミニマに特化して設計された影響関数の新たな推定形式を導入する。 様々なタスクにまたがる実験結果は、我々のアプローチの優越性を検証する。

関連論文リスト

• TULiP: Test-time Uncertainty Estimation via Linearization and Weight Perturbation [11.334867025651233]
  OOD検出のための理論駆動型不確実性推定器TULiPを提案する。 本手法では,収束前にネットワークに適用される仮説的摂動を考察する。 提案手法は,特に近分布試料について,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-05-22T17:16:41Z)
• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• C-XGBoost: A tree boosting model for causal effect estimation [8.246161706153805]
  因果効果推定は、平均処理効果と、治療の条件平均処理効果を、利用可能なデータから得られる結果に推定することを目的としている。 本稿では,C-XGBoost という新たな因果推論モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-31T17:43:37Z)
• To Predict or to Reject: Causal Effect Estimation with Uncertainty on Networked Data [36.31936265985164]
  GraphDKLは、グラフによる因果効果推定を行う際に、肯定的仮定違反に対処する最初のフレームワークである。 本研究では,ネットワークデータに対する不確実性を考慮した因果効果推定における提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-09-15T05:25:43Z)
• Benchmarking Bayesian Causal Discovery Methods for Downstream Treatment Effect Estimation [137.3520153445413]
  下流推論に重点を置く因果発見手法の評価において,顕著なギャップが存在する。 我々は,GFlowNetsに基づく新たな手法を含む,確立された7つの基本因果探索手法を評価する。 研究の結果,研究対象のアルゴリズムのいくつかは,多種多様なATEモードを効果的に捉えることができることがわかった。
  論文  参考訳（メタデータ） (2023-07-11T02:58:10Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。