論文の概要: STRIDE: Training Data Attribution via Sparse Recovery from Subset Perturbations

• arxiv url: http://arxiv.org/abs/2606.05165v1
• Date: Wed, 03 Jun 2026 17:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.955398
• Title: STRIDE: Training Data Attribution via Sparse Recovery from Subset Perturbations
• Title（参考訳）: STRIDE: サブセット摂動からのスパースリカバリによるデータアトリビューションのトレーニング
• Authors: Rishit Dagli, Abir Harrasse, Luke Zhang, Florent Draye, Amirali Abdullah, Bernhard Schölkopf, Zhijing Jin,
• Abstract要約: トレーニングデータ属性(Training Data Attribution)は、モデルの予測をトレーニングデータに遡る。 ほとんどのアプローチでは、勾配を使ってパラメータ空間でこの効果を近似する。 活性化空間におけるトレーニングデータの機能的効果をモデル化する。
• 参考スコア（独自算出の注目度）: 46.963298896594814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training Data Attribution (TDA) seeks to trace a model's predictions back to its training data. The gold standard for TDA relies on causal interventions, observing how a model changes when data is added or removed, but repeated retraining is computationally challenging for Large Language Models (LLMs). Consequently, most approaches approximate this effect in the parameter space using gradients. However, tracking gradients across billions of parameters is not only prohibitively expensive but relies on local approximations. In this work, we propose a shift: rather than estimating parameter changes, we model the functional effect of training data in the activation space. We introduce STRIDE (Steering-based Training Data Influence Decomposition), a framework that formulates TDA as a sparse recovery problem in the spirit of compressive sensing. STRIDE learns lightweight "steering operators" that mimic the behavioral shift caused by training on data subsets. By measuring how these operators perturb test predictions, we recover individual training example influences via sparse linear decomposition. STRIDE achieves state-of-the-art for LLM pre-training attribution while being an order of magnitude ($13\times$) faster than previous art. We further validate its practical utility through downstream applications including data selection, data contamination, and qualitative analysis.
• Abstract（参考訳）: トレーニングデータ属性(TDA)は、モデルの予測をトレーニングデータに遡る。 TDAのゴールドスタンダードは因果介入に依存しており、データの追加や削除時にモデルがどのように変化するかを観察しているが、大規模言語モデル(LLM)では繰り返し再トレーニングは計算的に困難である。 その結果、ほとんどのアプローチは勾配を用いてパラメータ空間でこの効果を近似する。 しかし、数十億のパラメータにわたる勾配の追跡は、違法に高価であるだけでなく、局所的な近似に依存している。 本研究では、パラメータ変化を推定するのではなく、アクティベーション空間におけるトレーニングデータの機能的効果をモデル化する。 Steering-based Training Data Influence Decompositionは、TDAを圧縮センシングの精神においてスパースリカバリ問題として定式化するフレームワークである。 STRIDEは、データサブセットのトレーニングによる振る舞いシフトを模倣した軽量な"ステアリング演算子"を学ぶ。 これらの演算子がどのように摂動テスト予測を行うかを測定することで、スパース線形分解による個別トレーニング例の影響を回復する。 STRIDE は LLM の事前学習属性の最先端化を実現し,先行技術よりも桁違い (13\times$) の速さで実現している。 さらに、データ選択、データ汚染、定性的分析を含む下流アプリケーションを通じて、その実用性を検証する。

関連論文リスト

• Data Attribution in Large Language Models via Bidirectional Gradient Optimization [35.61634772862795]
  大きな言語モデル(LLM)は、様々なアプリケーションにまたがってデプロイされるようになっている。 モデルの出力に最も影響したトレーニングデータの理解は、依然として根本的なオープンな問題である。 トレーニング中に生成されたアウトプットを見た場合、トレーニングデータにどのような影響があるのか? 提案手法は, 生成したテキストサンプルに対して, 双方向勾配最適化(漸進的上昇・降下)を用いてベースモデルを摂動させ, トレーニングサンプル間の損失変化を計測する。
  論文  参考訳（メタデータ） (2026-06-03T14:21:53Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Improving Out-of-Distribution Detection via Dynamic Covariance Calibration [12.001290283557466]
  アウト・オブ・ディストリビューション(OOD)検出は、AIシステムの信頼性に不可欠である。 我々は, 従来の形状を動的に調整することにより, 分散されていない試料の影響を補正することができると論じる。 提案手法は, 各種モデル間のOOD検出を著しく向上させる。
  論文  参考訳（メタデータ） (2025-06-11T05:05:26Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Gradient-guided Loss Masking for Neural Machine Translation [27.609155878513334]
  本稿では、トレーニングプロセス中にデータ利用を動的に最適化する戦略を検討する。 本アルゴリズムは,トレーニングデータとクリーンデータとの勾配アライメントを計算し,負のアライメントでデータをマスクアウトする。 3つのwmt言語ペアを実験した結果,本手法は強いベースラインよりも大きな改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2021-02-26T15:41:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。