論文の概要: DMin: Scalable Training Data Influence Estimation for Diffusion Models
- arxiv url: http://arxiv.org/abs/2412.08637v3
- Date: Tue, 11 Mar 2025 03:10:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 13:59:51.717646
- Title: DMin: Scalable Training Data Influence Estimation for Diffusion Models
- Title（参考訳）: DMin:拡散モデルにおけるスケーラブルなトレーニングデータの影響推定
- Authors: Huawei Lin, Yingjie Lao, Weijie Zhao,
- Abstract要約: DMinは、与えられた生成された画像に対するトレーニングデータサンプルの影響を推定するフレームワークである。
数十億のパラメータを持つDMの推定に影響を及ぼす最初の方法である。
ストレージ要件を数百 TB から MB あるいは KB まで削減し,最も影響力のあるトレーニングサンプルを 1 秒以内で取得する。
- 参考スコア（独自算出の注目度）: 18.87514286635854
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying the training data samples that most influence a generated image is a critical task in understanding diffusion models (DMs), yet existing influence estimation methods are constrained to small-scale or LoRA-tuned models due to computational limitations. To address this challenge, we propose DMin (Diffusion Model influence), a scalable framework for estimating the influence of each training data sample on a given generated image. To the best of our knowledge, it is the first method capable of influence estimation for DMs with billions of parameters. Leveraging efficient gradient compression, DMin reduces storage requirements from hundreds of TBs to mere MBs or even KBs, and retrieves the top-k most influential training samples in under 1 second, all while maintaining performance. Our empirical results demonstrate DMin is both effective in identifying influential training samples and efficient in terms of computational and storage requirements.
- Abstract（参考訳）: トレーニングデータサンプルを同定することで、生成した画像に最も影響を与えることが拡散モデル(DM)を理解する上で重要な課題であるが、既存の影響推定手法は、計算上の制限により、小規模またはLoRAで調整されたモデルに制約される。
この課題に対処するために、各トレーニングデータサンプルが生成した画像に与える影響を推定するスケーラブルなフレームワークであるDMin(Diffusion Model influence)を提案する。
我々の知る限りでは、数十億のパラメータを持つDMの推定に影響を及ぼすことができる最初の方法である。
効率的な勾配圧縮を活用して、DMinはストレージ要求を数百TBから、単にMBやKBまで削減し、パフォーマンスを維持しながら、1秒未満で最も影響力のあるトレーニングサンプルを検索する。
実験の結果,DMinはトレーニングサンプルの同定に有効であり,計算量や記憶量の観点からも有効であることがわかった。
関連論文リスト
- Sparse-to-Sparse Training of Diffusion Models [13.443846454835867]
本稿では,DMに対するスパース・ツー・スパーストレーニングのパラダイムを初めて紹介する。
我々は、無条件生成と6つのデータセットでスクラッチからスパースDMを訓練することに重点を置いている。
実験の結果,スパースDMはトレーニング可能なパラメータやFLOPの数を著しく減らしながら,相性が良く,性能も優れていることがわかった。
論文 参考訳（メタデータ） (2025-04-30T07:28:11Z) - Task-Specific Knowledge Distillation from the Vision Foundation Model for Enhanced Medical Image Segmentation [13.018234326432964]
医用画像セグメンテーションのための新規で汎用的なタスク固有知識蒸留フレームワークを提案する。
提案手法は,目標セグメンテーションタスクのVFMを微調整し,より小さなモデルに知識を蒸留する前にタスク固有の特徴を抽出する。
5つの医用画像データセットに対する実験結果から,本手法はタスク非依存の知識蒸留より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2025-03-10T06:39:53Z) - Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。
提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。
DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文 参考訳（メタデータ） (2024-10-02T07:14:26Z) - DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture [69.58440626023541]
拡散モデル(DM)は、様々な領域にまたがる例外的な生成能力を示す。
DMはますます大量のデータを消費している。
既存のDMをデータソースとして使用して,新しいDMをアーキテクチャでトレーニングする,という新しいシナリオを提案する。
論文 参考訳（メタデータ） (2024-09-05T14:12:22Z) - Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。
DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。
しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。
本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
論文 参考訳（メタデータ） (2024-05-30T21:35:48Z) - Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。
本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。
低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文 参考訳（メタデータ） (2024-05-28T20:43:53Z) - DDPM-MoCo: Advancing Industrial Surface Defect Generation and Detection with Generative and Contrastive Learning [3.789219860006095]
これらの問題に対処するためにDDPM-MoCoという新しい欠陥発生手法を提案する。
まず,Denoising Diffusion Probabilistic Model (DDPM) を用いて,高品質な欠陥データサンプルを生成する。
第2に、教師なし学習モメンタムコントラストモデル(MoCo)と拡張バッチコントラスト損失関数を用いて、ラベルなしデータ上でモデルをトレーニングする。
論文 参考訳（メタデータ） (2024-05-09T17:17:53Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - On Memorization in Diffusion Models [46.656797890144105]
より小さなデータセットでは記憶の挙動が生じる傾向があることを示す。
我々は、有効モデル記憶(EMM)の観点から、影響因子がこれらの記憶行動に与える影響を定量化する。
本研究は,拡散モデル利用者にとって実用的意義を持ち,深部生成モデルの理論研究の手がかりを提供する。
論文 参考訳（メタデータ） (2023-10-04T09:04:20Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T20:30:55Z) - Training Data Attribution for Diffusion Models [1.1733780065300188]
そこで本研究では,アンサンブルを用いて学習データが拡散モデルの出力にどのように影響するかを明らかにする新しい手法を提案する。
我々のアプローチでは、エンコードされたアンサンブル内の個々のモデルは、影響のあるトレーニング例の識別を可能にするために、訓練データ全体の分割を慎重に設計した上で訓練される。
得られたモデルアンサンブルは、トレーニングデータの影響の効率的なアブレーションを可能にし、トレーニングデータがモデル出力に与える影響を評価する。
論文 参考訳（メタデータ） (2023-06-03T18:36:12Z) - GSURE-Based Diffusion Model Training with Corrupted Data [35.56267114494076]
本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。
顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
論文 参考訳（メタデータ） (2023-05-22T15:27:20Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。