論文の概要: A Versatile Influence Function for Data Attribution with Non-Decomposable Loss

• arxiv url: http://arxiv.org/abs/2412.01335v1
• Date: Mon, 02 Dec 2024 09:59:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:19.897021
• Title: A Versatile Influence Function for Data Attribution with Non-Decomposable Loss
• Title（参考訳）: 非分解性損失を伴うデータ属性に対するヴァーサタイル影響関数
• Authors: Junwei Deng, Weijing Tang, Jiaqi W. Ma,
• Abstract要約: 本稿では,非分解不能な損失を学習した機械学習モデルに対して,直接適用可能なVersatile Influence Function (VIF)を提案する。 VIFはデータ属性の大幅な進歩を表しており、幅広い機械学習パラダイムにまたがる効率的な影響関数ベースの属性を可能にする。
• 参考スコア（独自算出の注目度）: 3.1615846013409925
• License:
• Abstract: Influence function, a technique rooted in robust statistics, has been adapted in modern machine learning for a novel application: data attribution -- quantifying how individual training data points affect a model's predictions. However, the common derivation of influence functions in the data attribution literature is limited to loss functions that can be decomposed into a sum of individual data point losses, with the most prominent examples known as M-estimators. This restricts the application of influence functions to more complex learning objectives, which we refer to as non-decomposable losses, such as contrastive or ranking losses, where a unit loss term depends on multiple data points and cannot be decomposed further. In this work, we bridge this gap by revisiting the general formulation of influence function from robust statistics, which extends beyond M-estimators. Based on this formulation, we propose a novel method, the Versatile Influence Function (VIF), that can be straightforwardly applied to machine learning models trained with any non-decomposable loss. In comparison to the classical approach in statistics, the proposed VIF is designed to fully leverage the power of auto-differentiation, hereby eliminating the need for case-specific derivations of each loss function. We demonstrate the effectiveness of VIF across three examples: Cox regression for survival analysis, node embedding for network analysis, and listwise learning-to-rank for information retrieval. In all cases, the influence estimated by VIF closely resembles the results obtained by brute-force leave-one-out retraining, while being up to $10^3$ times faster to compute. We believe VIF represents a significant advancement in data attribution, enabling efficient influence-function-based attribution across a wide range of machine learning paradigms, with broad potential for practical use cases.
• Abstract（参考訳）: ロバストな統計に根ざしたテクニックであるインフルエンス関数は、新しいアプリケーションのために、現代的な機械学習に適応している。 しかし、データ属性文学における影響関数の一般的な導出は、個々のデータポイント損失の和に分解できる損失関数に限られており、最も顕著な例はM推定器である。 これは、ユニット損失項が複数のデータポイントに依存し、さらに分解できない、コントラストやランキング損失などの非分解性損失と呼ばれる、より複雑な学習目的への影響関数の適用を制限する。 本研究では、このギャップを、M推定値を超えて広がるロバストな統計量から、影響関数の一般的な定式化を再考することによって橋渡しする。 この定式化に基づいて、非分解不能な損失を学習した機械学習モデルに容易に適用可能な新しい方法であるVersatile Influence Function (VIF)を提案する。 統計学における古典的アプローチと比較して、提案したVIFは、各損失関数のケース固有導出を不要にすることで、自動微分のパワーを完全に活用するように設計されている。 生存分析のためのコックス回帰,ネットワーク解析のためのノード埋め込み,情報検索のためのリストワイズ学習-ランクの3つの例にまたがって,VIFの有効性を示す。 いずれの場合も、VIFが見積もる影響は、ブルートフォース・アウト・アウト・アウト・リトレーニングの結果とよく似ているが、計算の最大10^3$はより高速である。 私たちは、VIFはデータ帰属の著しい進歩であり、幅広い機械学習パラダイムにおける効率的な影響関数に基づく帰属を可能にし、実用的なユースケースの幅広い可能性を秘めていると考えています。

関連論文リスト

• Dissecting Misalignment of Multimodal Large Language Models via Influence Function [12.832792175138241]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 ECIFを基盤として,MLLMにおけるデータ評価,誤アライメント検出,誤予測トレースバックタスクなどの一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• Most Influential Subset Selection: Challenges, Promises, and Beyond [9.479235005673683]
  我々は,最も集団的影響の大きいトレーニングサンプルのサブセットを特定することを目的とした,MISS(Most Influential Subset Selection)問題について検討する。 我々は、MISにおける一般的なアプローチを包括的に分析し、その強みと弱点を解明する。 本稿では,これらを反復的に適用した適応バージョンが,試料間の相互作用を効果的に捕捉できることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T20:00:23Z)
• If Influence Functions are the Answer, Then What is the Question? [7.873458431535409]
  影響関数は、モデルの学習パラメータに対する1つのトレーニングデータポイントの除去の効果を効率的に推定する。 影響推定は線形モデルの残余再トレーニングとよく一致しているが、最近の研究では、ニューラルネットワークではこのアライメントが不十分であることが示されている。
  論文  参考訳（メタデータ） (2022-09-12T16:17:43Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
  非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。 驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
  論文  参考訳（メタデータ） (2020-07-12T17:45:24Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。