論文の概要: Toward Efficient Influence Function: Dropout as a Compression Tool

• arxiv url: http://arxiv.org/abs/2509.15651v1
• Date: Fri, 19 Sep 2025 06:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.025307
• Title: Toward Efficient Influence Function: Dropout as a Compression Tool
• Title（参考訳）: 効率的な影響関数を目指して:圧縮ツールとしてのドロップアウト
• Authors: Yuchen Zhang, Mohammad Mohammadi Amiri,
• Abstract要約: 本稿では,より効率的に影響関数を計算するための勾配圧縮機構としてドロップアウトを利用する新しい手法を提案する。 本手法は, インフルエンス関数だけでなく, 勾配圧縮プロセスにおいても, 計算およびメモリオーバーヘッドを大幅に低減する。
• 参考スコア（独自算出の注目度）: 9.756810956484772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assessing the impact the training data on machine learning models is crucial for understanding the behavior of the model, enhancing the transparency, and selecting training data. Influence function provides a theoretical framework for quantifying the effect of training data points on model's performance given a specific test data. However, the computational and memory costs of influence function presents significant challenges, especially for large-scale models, even when using approximation methods, since the gradients involved in computation are as large as the model itself. In this work, we introduce a novel approach that leverages dropout as a gradient compression mechanism to compute the influence function more efficiently. Our method significantly reduces computational and memory overhead, not only during the influence function computation but also in gradient compression process. Through theoretical analysis and empirical validation, we demonstrate that our method could preserves critical components of the data influence and enables its application to modern large-scale models.
• Abstract（参考訳）: 機械学習モデルに対するトレーニングデータの影響を評価することは、モデルの振る舞いを理解し、透明性を高め、トレーニングデータを選択するために不可欠である。 影響関数は、特定のテストデータに与えられたモデルの性能に対するトレーニングデータポイントの効果を定量化する理論的フレームワークを提供する。 しかしながら、インフルエンス関数の計算とメモリコストは、特に大規模モデルでは、計算にかかわる勾配がモデル自身と同じくらい大きいため、近似法を用いても大きな課題を生じさせる。 本研究では,より効率的に影響関数を計算するために,勾配圧縮機構としてドロップアウトを利用する新しい手法を提案する。 本手法は, インフルエンス関数計算だけでなく, 勾配圧縮プロセスにおいても, 計算およびメモリオーバーヘッドを大幅に低減する。 理論的解析と実証的検証により,本手法はデータ影響の重要成分を保存し,現代の大規模モデルに適用可能であることを示す。

関連論文リスト

• Revisiting Data Attribution for Influence Functions [13.88866465448849]
  本稿では,ディープラーニングにおける影響関数のデータ帰属能力について概説する。 提案手法の理論的基礎, 効率的な逆ヘッセンベクトル積推定のためのアルゴリズムの最近の進歩, およびデータ帰属と誤ラベル検出の有効性について考察する。
  論文  参考訳（メタデータ） (2025-08-10T11:15:07Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Small-to-Large Generalization: Data Influences Models Consistently Across Scale [76.87199303408161]
  小規模および大規模言語モデル予測(一般的には)は、トレーニングデータの選択に非常に相関している。 また、データ属性とデータセット選択という2つの下流プロキシモデルアプリケーションにおいて、プロキシスケールが有効性にどのように影響するかを特徴付ける。
  論文  参考訳（メタデータ） (2025-05-22T05:50:19Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• The Approximate Fisher Influence Function: Faster Estimation of Data Influence in Statistical Models [5.893124686141781]
  モデル性能における無限小の変化の影響の定量化は、機械学習モデルの理解と改善に不可欠である。 提案手法は,現在の手法よりも計算上の優位性が高いことを示す。
  論文  参考訳（メタデータ） (2024-07-11T04:19:28Z)
• Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models [36.05242956018461]
  本稿では,影響関数と外乱勾配検出による有害トレーニングサンプルの同定とを橋渡しする。 まず, 合成データセットにおける外乱勾配解析手法の仮説を検証した。 次に、視覚モデルにおける誤ラベルサンプルの検出と、自然言語処理トランスフォーマーモデルの性能向上のためのデータサンプル選択の有効性を示す。
  論文  参考訳（メタデータ） (2024-05-06T21:34:46Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。