論文の概要: f-INE: A Hypothesis Testing Framework for Estimating Influence under Training Randomness

• arxiv url: http://arxiv.org/abs/2510.10510v1
• Date: Sun, 12 Oct 2025 09:05:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.98169
• Title: f-INE: A Hypothesis Testing Framework for Estimating Influence under Training Randomness
• Title（参考訳）: f-INE: ランダムなトレーニングにおける影響を推定するための仮説テストフレームワーク
• Authors: Subhodip Panda, Dhruv Tarsadiya, Shashwat Sourav, Prathosh A. P, Sai Praneeth Karimireddy,
• Abstract要約: 仮説テストに基づく新しい影響推定フレームワークである*f-influence*を導入する。 また,f-influence **を1回のトレーニング実行で計算する,高効率なアルゴリズム**f*-*IN*fluence **E*stimation (**f-INE**)を設計する。 最後に, Llama-3.1-8Bにおける指導指導データの影響を推定するためにf-INEをスケールアップし, 有毒試料を確実に検出できることを示す。
• 参考スコア（独自算出の注目度）: 13.922293647552303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Influence estimation methods promise to explain and debug machine learning by estimating the impact of individual samples on the final model. Yet, existing methods collapse under training randomness: the same example may appear critical in one run and irrelevant in the next. Such instability undermines their use in data curation or cleanup since it is unclear if we indeed deleted/kept the correct datapoints. To overcome this, we introduce *f-influence* -- a new influence estimation framework grounded in hypothesis testing that explicitly accounts for training randomness, and establish desirable properties that make it suitable for reliable influence estimation. We also design a highly efficient algorithm **f**-**IN**fluence **E**stimation (**f-INE**) that computes f-influence **in a single training run**. Finally, we scale up f-INE to estimate influence of instruction tuning data on Llama-3.1-8B and show it can reliably detect poisoned samples that steer model opinions, demonstrating its utility for data cleanup and attributing model behavior.
• Abstract（参考訳）: 影響推定手法は、個々のサンプルが最終モデルに与える影響を推定することにより、機械学習の説明とデバッグを約束する。 しかし、既存のメソッドは、トレーニングのランダム性の下で崩壊する。同じ例は、1回の実行では重要で、次の実行では無関係に見えます。 このような不安定さは、正しいデータポイントを実際に削除/削除したかどうかは不明なため、データキュレーションやクリーンアップでの使用を損なう。 これを解決するために,仮説テストに基礎を置く新しい影響推定フレームワーク*f-influence*を導入し,信頼性の高い影響推定に適した望ましい特性を確立する。 また,f-influence **を1回のトレーニングで計算する,高効率なアルゴリズム**f*-*IN*fluence **E*stimation (**f-INE**)を設計する。 最後に、F-INEをスケールアップし、Llama-3.1-8B上でのインストラクションチューニングデータの影響を推定し、モデル評価を行う有毒なサンプルを確実に検出できることを示す。

関連論文リスト

• Revisiting Data Attribution for Influence Functions [13.88866465448849]
  本稿では,ディープラーニングにおける影響関数のデータ帰属能力について概説する。 提案手法の理論的基礎, 効率的な逆ヘッセンベクトル積推定のためのアルゴリズムの最近の進歩, およびデータ帰属と誤ラベル検出の有効性について考察する。
  論文  参考訳（メタデータ） (2025-08-10T11:15:07Z)
• CausalPFN: Amortized Causal Effect Estimation via In-Context Learning [15.645599403885605]
  CausalPFNは、新しい観測データセットに因果効果を推定する。 提案手法は,不均一および平均処理効果評価ベンチマークにおいて,優れた平均性能を実現する。 CausalPFNはベイズ原理に基づく信頼性の高い意思決定を支援するために、校正された不確実性推定を提供する。
  論文  参考訳（メタデータ） (2025-06-09T16:31:06Z)
• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• Unlearning Traces the Influential Training Data of Language Models [31.33791825286853]
  アンラーニングは、トレーニングデータセットがモデルの性能に与える影響をトレースする。 よりスケーラブルなアプローチであるUnTrac-Invを提案し、テストデータセットを解放し、トレーニングデータセットの未学習モデルを評価する。
  論文  参考訳（メタデータ） (2024-01-26T23:17:31Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
  本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。 モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。