論文の概要: Distilling Diffusion Score Discrepancy for Efficient Training Data Attribution

• arxiv url: http://arxiv.org/abs/2609.38776v2
• Date: Mon, 05 Oct 2026 03:42:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:43:28.443068
• Title: Distilling Diffusion Score Discrepancy for Efficient Training Data Attribution
• Title（参考訳）: 効率的な学習データ属性のための蒸留拡散スコアの相違
• Abstract要約: 拡散モデルのトレーニングデータ属性は、生成されたインスタンスに影響を与えるトレーニングサンプルを特定することを目的としている。 属性を局所的なスコア差尺度で直接定式化することで,これらの制限に対処する。 そして,TIDをオンライン学習した前向きの学生であるTIDEに蒸留し,拡散モデルの内部アクティベーションから教師のランキングを再現する。
• 参考スコア（独自算出の注目度）: 32.351568383729166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training data attribution for diffusion models aims to identify the training samples that influence a generated instance, but existing methods either require costly per-sample gradient computation or query-specific model optimization. Moreover, most methods attribute changes in a proxy loss rather than changes in the actual model's generative behavior. We address these limitations by formulating attribution directly with a local score discrepancy measure, which applies to any diffusion variant (including DDPM, EDM, and flow matching), and by showing that such measure can be estimated without retraining, as a preconditioned gradient similarity. We instantiate this estimator as Training-data Influence via score Discrepancy (TID), which uses Kronecker-factored curvature to avoid random projections and per-sample gradient storage. We then distill TID into TIDE, a forward-only student trained online to reproduce the teacher's rankings from the diffusion model's internal activations. Under counterfactual evaluation on CIFAR-10, ArtBench-10, and MS-COCO, TID matches or outperforms state-of-the-art approaches, while TIDE retains most of TID's accuracy at four to five orders of magnitude lower per-query cost, attributing generated samples in milliseconds and faster than the generation itself.
• Abstract（参考訳）: 拡散モデルのトレーニングデータ属性は、生成されたインスタンスに影響を与えるトレーニングサンプルを特定することを目的としている。 さらに、ほとんどのメソッドは、実際のモデルの生成行動の変化よりも、プロキシ損失の変化を属性とします。 これらの制限に対処するために、各拡散変量(DDPM、EDM、フローマッチングを含む)に適用する局所的なスコア差度測定と直接的にアトリビューションを定式化し、事前条件付き勾配類似性として再学習せずに推定できることを示し、これらの制限に対処する。 我々は、Kronecker-factored curvature を用いてランダムなプロジェクションやサンプルごとの勾配記憶を回避し、この推定をスコア離散性(TID)によるトレーニングデータの影響とみなす。 そして,TIDをオンライン学習した前向きの学生であるTIDEに蒸留し,拡散モデルの内部アクティベーションから教師のランキングを再現する。 CIFAR-10、ArtBench-10、MS-COCOの対物評価では、TIDは最先端のアプローチにマッチまたは性能が向上する一方、TIDEはTIDの精度の大部分を4～5桁以下で維持し、生成したサンプルをミリ秒単位で生成する。

関連論文リスト

• Data Unlearning via Inverse Distillation [65.89214072069687]
  Inverse Distillation Unlearning (IDU) は、教師のマルチステップマッチングモデルを効率的なワンステップの学生ジェネレータに同時に蒸留するフレームワークである。 IDUは,保持クラスにおける生成品質を保ちながら,忘れられたクラスの生成頻度を大幅に低減することを示す。
  論文  参考訳（メタデータ） (2026-09-28T18:39:35Z)
• STRIDE: Training Data Attribution via Sparse Recovery from Subset Perturbations [46.963298896594814]
  トレーニングデータ属性(Training Data Attribution)は、モデルの予測をトレーニングデータに遡る。 ほとんどのアプローチでは、勾配を使ってパラメータ空間でこの効果を近似する。 活性化空間におけるトレーニングデータの機能的効果をモデル化する。
  論文  参考訳（メタデータ） (2026-06-03T17:59:36Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Variational Diffusion Unlearning: A Variational Inference Framework for Unlearning in Diffusion Models under Data Constraints [9.885531514020437]
  本研究では,事前学習した拡散モデルから望ましくない特徴を含む出力の発生を防止できる機械学習手法を提案する。 本手法は, 可塑性インデューサと安定正則化器の2項からなる損失関数の最小化を目的とした, 変分推論フレームワークに着想を得たものである。 本手法の有効性は,授業未学習と特徴未学習の両方に対する総合的な実験を通じて検証する。
  論文  参考訳（メタデータ） (2025-10-05T06:39:30Z)
• Distributional Training Data Attribution: What do Influence Functions Sample? [25.257922996567178]
  分散学習データ属性(d-TDA)を導入する。 d-TDAの目標は、モデル出力の分布がデータセットに依存するかを予測することである。 影響関数 (IF) は「秘密分布」である。
  論文  参考訳（メタデータ） (2025-06-15T21:02:36Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。