論文の概要: Better Training Data Attribution via Better Inverse Hessian-Vector Products

• arxiv url: http://arxiv.org/abs/2507.14740v1
• Date: Sat, 19 Jul 2025 20:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.029201
• Title: Better Training Data Attribution via Better Inverse Hessian-Vector Products
• Title（参考訳）: 逆ヘシアンベクター製品によるより良いトレーニングデータ属性
• Authors: Andrew Wang, Elisa Nguyen, Runshi Yang, Juhan Bae, Sheila A. McIlraith, Roger Grosse,
• Abstract要約: トレーニングデータ属性(TDA)は、学習したモデルの振る舞いにどのトレーニングデータが責任を持つのかに関する洞察を提供する。 ニューマン級数反復のEKFACプレコンディショナーを用いて,TDAの正確なiHVP近似に到達するアルゴリズムを提案する。 ASTRAはチューニングが容易で、ノイマン級数よりもイテレーションを少なくし、EKFACベースの近似よりも正確である。
• 参考スコア（独自算出の注目度）: 14.661332908535078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training data attribution (TDA) provides insights into which training data is responsible for a learned model behavior. Gradient-based TDA methods such as influence functions and unrolled differentiation both involve a computation that resembles an inverse Hessian-vector product (iHVP), which is difficult to approximate efficiently. We introduce an algorithm (ASTRA) which uses the EKFAC-preconditioner on Neumann series iterations to arrive at an accurate iHVP approximation for TDA. ASTRA is easy to tune, requires fewer iterations than Neumann series iterations, and is more accurate than EKFAC-based approximations. Using ASTRA, we show that improving the accuracy of the iHVP approximation can significantly improve TDA performance.
• Abstract（参考訳）: トレーニングデータ属性(TDA)は、学習したモデルの振る舞いにどのトレーニングデータが責任を持つのかに関する洞察を提供する。 インフルエンス関数やアンロール微分のような勾配に基づくTDA法は、どちらも逆ヘッセンベクトル積 (iHVP) に似た計算を伴い、効率よく近似することは困難である。 我々は,ニューマン級数反復のEKFACプレコンディショナーを用いて,TDAの正確なiHVP近似に到達するアルゴリズム(ASTRA)を提案する。 ASTRAはチューニングが容易で、ノイマン級数よりもイテレーションを少なくし、EKFACベースの近似よりも正確である。 ASTRAを用いて,iHVP近似の精度を向上させることにより,TDA性能が大幅に向上することを示した。

関連論文リスト

• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [56.805574957824135]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
  トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。 本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-05-24T05:17:53Z)
• Inverse Evolution Data Augmentation for Neural PDE Solvers [10.111901389604423]
  ニューラルネットワークのトレーニングには、精度と一般化を保証するために、大量のトレーニングデータが必要である。 本稿では,進化方程式上のニューラル演算子を訓練するための新しいデータ拡張法を提案する。
  論文  参考訳（メタデータ） (2025-01-24T16:20:11Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Orientation-Aware Sparse Tensor PCA for Efficient Unsupervised Feature Selection [7.887782360541216]
  非教師付き特徴選択(UFS)に分解(TD)技術を導入する。 この問題を解決するために、スパース特異値分解の向きに依存したテンソルテンソル積を用いる。 提案したテンソルPCAモデルは,所定のモードで間隔を制限し,スパーステンソル主成分を得る。
  論文  参考訳（メタデータ） (2024-07-24T04:04:56Z)
• Training Data Attribution via Approximate Unrolled Differentiation [8.87519936904341]
  影響関数のような暗黙の微分に基づく手法は、計算的に効率的になるが、過小評価を考慮できない。 我々は、影響関数のような公式を用いて計算される近似アンローリングベースのTDA手法であるSourceを紹介する。
  論文  参考訳（メタデータ） (2024-05-20T17:17:44Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• PER-ETD: A Polynomially Efficient Emphatic Temporal Difference Learning Method [49.93717224277131]
  PEriodically Restarted-ETD(PEriodically Restarted-ETD)と呼ばれる新しいETD手法を提案する。 PER-ETD は ETD と同じ所望の固定点に収束するが, 指数的なサンプルの複雑性は向上する。
  論文  参考訳（メタデータ） (2021-10-13T17:40:12Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• Batch Sequential Adaptive Designs for Global Optimization [5.825138898746968]
  効率的なグローバル最適化(EGO)は、高価なブラックボックス最適化問題に対する最も一般的なSAD手法の1つである。 これらの複数点のEGO法では、重い計算とポイントのクラスタリングが障害となる。 本研究では, 改良されたサンプリング/インポータンス・リサンプリング(SIR)法を用いて, 「加速EGO」と呼ばれる新しいバッチSAD法を転送する。 提案したSADの効率は,次元が2～12の9つの古典的テスト関数によって検証される。
  論文  参考訳（メタデータ） (2020-10-21T01:11:35Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。