論文の概要: Taming Hyperparameter Sensitivity in Data Attribution: Practical Selection Without Costly Retraining

• arxiv url: http://arxiv.org/abs/2505.24261v1
• Date: Fri, 30 May 2025 06:33:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.806253
• Title: Taming Hyperparameter Sensitivity in Data Attribution: Practical Selection Without Costly Retraining
• Title（参考訳）: データアトリビューションにおけるハイパーパラメータ感度のモデリング:コスト削減を伴わない実践的選択
• Authors: Weiyi Wang, Junwei Deng, Yuzheng Hu, Shiyuan Zhang, Xirui Jiang, Runting Zhang, Han Zhao, Jiaqi W. Ma,
• Abstract要約: データ属性法は、個別のトレーニングデータポイントが機械学習モデルに与える影響を定量化する。 この領域で開発された新しい手法の急増にもかかわらず、これらの手法におけるハイパーパラメータチューニングの影響は未解明のままである。
• 参考スコア（独自算出の注目度）: 10.018043411223125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data attribution methods, which quantify the influence of individual training data points on a machine learning model, have gained increasing popularity in data-centric applications in modern AI. Despite a recent surge of new methods developed in this space, the impact of hyperparameter tuning in these methods remains under-explored. In this work, we present the first large-scale empirical study to understand the hyperparameter sensitivity of common data attribution methods. Our results show that most methods are indeed sensitive to certain key hyperparameters. However, unlike typical machine learning algorithms -- whose hyperparameters can be tuned using computationally-cheap validation metrics -- evaluating data attribution performance often requires retraining models on subsets of training data, making such metrics prohibitively costly for hyperparameter tuning. This poses a critical open challenge for the practical application of data attribution methods. To address this challenge, we advocate for better theoretical understandings of hyperparameter behavior to inform efficient tuning strategies. As a case study, we provide a theoretical analysis of the regularization term that is critical in many variants of influence function methods. Building on this analysis, we propose a lightweight procedure for selecting the regularization value without model retraining, and validate its effectiveness across a range of standard data attribution benchmarks. Overall, our study identifies a fundamental yet overlooked challenge in the practical application of data attribution, and highlights the importance of careful discussion on hyperparameter selection in future method development.
• Abstract（参考訳）: 機械学習モデルにおける個々のトレーニングデータポイントの影響を定量化するデータ属性手法は、現代のAIにおけるデータ中心のアプリケーションで人気が高まっている。 この領域で開発された新しい手法の急増にもかかわらず、これらの手法におけるハイパーパラメータチューニングの影響は未解明のままである。 本研究では,コモンデータ帰属手法のハイパーパラメータ感度を理解するための,最初の大規模実験研究について述べる。 以上の結果から,ほとんどの手法は特定の鍵パラメータに敏感であることがわかった。 しかし、一般的な機械学習アルゴリズムとは違って、ハイパーパラメータは計算的なチープなバリデーションメトリクスを使ってチューニングできるので、データアトリビューションのパフォーマンスを評価するには、トレーニングデータのサブセットでモデルを再トレーニングする必要がある場合が多いため、ハイパーパラメータチューニングには極めてコストがかかる。 これは、データ属性メソッドの実践的な適用にとって、重要なオープンな課題である。 この課題に対処するため,我々は,効率的なチューニング戦略を示すために,ハイパーパラメータの振る舞いに関する理論的な理解を深めることを提唱する。 ケーススタディでは、影響関数法の多くの変種において重要な正規化項の理論解析を行う。 そこで本研究では,モデルの再学習なしに正規化値を選択するための軽量な手法を提案し,その妥当性を標準データ属性ベンチマークで検証する。 全体として,本研究は,データ属性の実用化における根本的な課題であり,今後の手法開発におけるハイパーパラメータ選択に関する慎重な議論の重要性を強調している。

関連論文リスト

• UNEM: UNrolled Generalized EM for Transductive Few-Shot Learning [35.62208317531141]
  我々は「最適化学習」とも呼ばれるアンロールパラダイムを提唱し紹介する。 我々のアンローリングアプローチは、様々な統計的特徴分布と事前学習パラダイムをカバーしている。 本稿では,下流画像分類作業の細粒度を網羅した包括的実験について報告する。
  論文  参考訳（メタデータ） (2024-12-21T19:01:57Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Machine unlearning through fine-grained model parameters perturbation [26.653596302257057]
  そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。 また,機械学習の有効性を評価する上での課題にも取り組む。
  論文  参考訳（メタデータ） (2024-01-09T07:14:45Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Predictive machine learning for prescriptive applications: a coupled training-validating approach [77.34726150561087]
  規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。 このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。 合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
  論文  参考訳（メタデータ） (2021-10-22T15:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。