論文の概要: Faithful and Fast Influence Function via Advanced Sampling

• arxiv url: http://arxiv.org/abs/2510.26776v2
• Date: Fri, 31 Oct 2025 01:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 13:41:53.457247
• Title: Faithful and Fast Influence Function via Advanced Sampling
• Title（参考訳）: 高度サンプリングによる忠実かつ高速な影響関数
• Authors: Jungyeon Koh, Hyeonsu Lyu, Jonggyu Jang, Hyun Jong Yang,
• Abstract要約: 特徴量とロジットに基づく2つの高度なサンプリング手法を提案する。 これらのサンプルは、機能やログの分布を考慮して、データセット全体の小さいが代表的なサブセットを選択する。 モデルがいかに効率的にクラスを忘れるかを測定するためにF1スコアを用いて、クラス除去実験を通じてアプローチを検証する。
• 参考スコア（独自算出の注目度）: 10.773767694482858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How can we explain the influence of training data on black-box models? Influence functions (IFs) offer a post-hoc solution by utilizing gradients and Hessians. However, computing the Hessian for an entire dataset is resource-intensive, necessitating a feasible alternative. A common approach involves randomly sampling a small subset of the training data, but this method often results in highly inconsistent IF estimates due to the high variance in sample configurations. To address this, we propose two advanced sampling techniques based on features and logits. These samplers select a small yet representative subset of the entire dataset by considering the stochastic distribution of features or logits, thereby enhancing the accuracy of IF estimations. We validate our approach through class removal experiments, a typical application of IFs, using the F1-score to measure how effectively the model forgets the removed class while maintaining inference consistency on the remaining classes. Our method reduces computation time by 30.1% and memory usage by 42.2%, or improves the F1-score by 2.5% compared to the baseline.
• Abstract（参考訳）: ブラックボックスモデルにおけるトレーニングデータの影響についてどう説明するか。 影響関数 (IF) は勾配とヘッセンを利用してポストホック解を提供する。 しかし、データセット全体に対するHessianの計算はリソース集約的であり、実現可能な代替手段を必要とする。 一般的なアプローチでは、トレーニングデータの小さなサブセットをランダムにサンプリングするが、この手法はサンプル構成のばらつきが大きいため、高い一貫性のないIF推定をもたらすことが多い。 そこで本稿では,特徴量とロジットに基づく2つの高度なサンプリング手法を提案する。 これらのサンプルは、特徴量やロジットの確率分布を考慮し、データセット全体の小さいが代表的なサブセットを選択し、IF推定の精度を高める。 我々は、F1スコアを用いたクラス除去実験を通じて、クラス間の推論一貫性を維持しながら、モデルが削除されたクラスをいかに効果的に無視するかを測定する。 計算時間を30.1%削減し,メモリ使用量を42.2%削減するか,ベースラインに比べてF1スコアを2.5%改善する。

関連論文リスト

• Understanding Data Influence with Differential Approximation [63.817689230826595]
  我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
  論文  参考訳（メタデータ） (2025-08-20T11:59:32Z)
• Rescaled Influence Functions: Accurate Data Attribution in High Dimension [8.392894051706055]
  本稿では,データ帰属のための新しいツールであるRescaled Influence Function (RIF) について述べる。 実世界のデータセットでIFとRIFを比較し,実世界の予測精度が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2025-06-07T04:19:21Z)
• Filter Like You Test: Data-Driven Data Filtering for CLIP Pretraining [17.402771370806384]
  Filter Like You Test (FLYT)は、事前トレーニングの例として、各データポイントの有用性を学ぶデータセットをキュレートするアルゴリズムである。 FLYTは、ダウンストリームタスクトレーニングセットからの勾配信号を使用して、各サンプルの機能を測ることを学ぶスコアモデルをトレーニングする。 M-FLYT(Mixing-FLYT)を実装し、異なるスコア法によって生成されるサンプル毎のスコアを特徴として扱い、それらを単一のスコアに統一することを学ぶ。
  論文  参考訳（メタデータ） (2025-03-11T18:34:12Z)
• Data Pruning via Moving-one-Sample-out [61.45441981346064]
  我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。 実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2023-10-23T08:00:03Z)
• Bayes Classification using an approximation to the Joint Probability Distribution of the Attributes [1.0660480034605242]
  本研究では,テストサンプルの近傍の情報を用いて条件付き確率を推定する手法を提案する。 本稿では,カリフォルニア大学アーバイン校(UCI)の機械学習リポジトリから得られた幅広いデータセットに対する提案手法の性能について述べる。
  論文  参考訳（メタデータ） (2022-05-29T22:24:02Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Noise-Resistant Deep Metric Learning with Probabilistic Instance Filtering [59.286567680389766]
  ノイズラベルは現実世界のデータによく見られ、ディープニューラルネットワークの性能劣化を引き起こす。 DMLのための確率的ランク付けに基づくメモリを用いたインスタンス選択(PRISM)手法を提案する。 PRISMはラベルがクリーンである確率を計算し、潜在的にノイズの多いサンプルをフィルタリングする。
  論文  参考訳（メタデータ） (2021-08-03T12:15:25Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。