論文の概要: Optimizing Few-Step Generation with Adaptive Matching Distillation
- arxiv url: http://arxiv.org/abs/2602.07345v1
- Date: Sat, 07 Feb 2026 04:00:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:24.578901
- Title: Optimizing Few-Step Generation with Adaptive Matching Distillation
- Title(参考訳): アダプティブマッチング蒸留によるFew-Step生成の最適化
- Abstract要約: 分散マッチング蒸留(DMD)は強力な加速パラダイムであるが、その安定性は禁制区域でしばしば損なわれる。
本稿では,従来の手法を暗黙の戦略として再解釈する統一最適化フレームワークを提案する。
本稿では,アダプティブマッチング蒸留(Adaptive Matching Distillation,AMD)を導入する。
- 参考スコア(独自算出の注目度): 29.161963117692512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distribution Matching Distillation (DMD) is a powerful acceleration paradigm, yet its stability is often compromised in Forbidden Zone, regions where the real teacher provides unreliable guidance while the fake teacher exerts insufficient repulsive force. In this work, we propose a unified optimization framework that reinterprets prior art as implicit strategies to avoid these corrupted regions. Based on this insight, we introduce Adaptive Matching Distillation (AMD), a self-correcting mechanism that utilizes reward proxies to explicitly detect and escape Forbidden Zones. AMD dynamically prioritizes corrective gradients via structural signal decomposition and introduces Repulsive Landscape Sharpening to enforce steep energy barriers against failure mode collapse. Extensive experiments across image and video generation tasks (e.g., SDXL, Wan2.1) and rigorous benchmarks (e.g., VBench, GenEval) demonstrate that AMD significantly enhances sample fidelity and training robustness. For instance, AMD improves the HPSv2 score on SDXL from 30.64 to 31.25, outperforming state-of-the-art baselines. These findings validate that explicitly rectifying optimization trajectories within Forbidden Zones is essential for pushing the performance ceiling of few-step generative models.
- Abstract(参考訳): 分散マッチング蒸留(DMD)は強力な加速パラダイムであるが、実際の教師が信頼できない指導を行う地域では、その安定性が損なわれ、偽の教師は反発力に乏しい。
本研究では,従来の手法を暗黙の戦略として再解釈する統一最適化フレームワークを提案する。
そこで本研究では,適応マッチング蒸留(Adaptive Matching Distillation,AMD)を導入する。
AMDは、構造信号分解による補正勾配を動的に優先順位付けし、障害モードの崩壊に対して急激なエネルギー障壁を強制するために、Repulsive Landscape Sharpeningを導入している。
画像およびビデオ生成タスク(例:SDXL、Wan2.1)と厳密なベンチマーク(例:VBench、GenEval)にわたる広範な実験により、AMDはサンプルの忠実度とトレーニングの堅牢性を大幅に向上させることが示された。
例えば、AMDはSDXLのHPSv2スコアを30.64から31.25に改善し、最先端のベースラインを上回っている。
これらの結果は, 数段階生成モデルの性能天井を押し上げるためには, 禁制区域内の最適化軌道を明示的に修正することが重要であることを証明した。
関連論文リスト
- TOFD: Target-Oriented Feature Decoupling against Poisoning Attacks in Split Federated Learning [2.5015678499211407]
Split Federated Learning (SFL)は、クライアント側のオーバーヘッドを減らすことで、プライバシ保護の協調トレーニングを容易にする。
ほとんどの既存の防衛は分割パラダイムを活用できず、初期の段階で悪意のある行動を検出し、包含する能力を制限する。
ToFD(Target-Oriented Feature Decoupling)は,広範囲な毒殺攻撃に対して,能動的検出と堅牢な最適化を共同で実現する統合フレームワークである。
論文 参考訳(メタデータ) (2026-08-07T14:34:24Z) - Perturbation-Aware Diffusion-Guided Hybrid Segmentation for Robust and Annotation-Efficient Plant Stress Phenotyping [0.0]
本稿では,U-Net,DeepLabV3+,SegFormerのバックボーンが粗いマスクを生成する拡散誘導ハイブリッドセグメンテーションフレームワークを提案する。
PlantSegV3では、最高の選択されたハイブリッドモデルで、71.83%の洗練された平均インターセクション・オーバー・ユニオン(mIoU)と26.10%の洗練された境界F1を達成する。
論文 参考訳(メタデータ) (2026-07-26T14:28:05Z) - RECO: Region-Aware Compensation for Extrinsic Perturbations in Roadside 3D Detection [13.05494342638977]
道路沿いの3D物体検出は、交通理解、協調早期警戒、安全な自動運転に不可欠な広域認識を提供する。
既存の方法は、カメラ外在物に対する高い感度に悩まされており、わずかな偏差でさえ射影幾何学によって増幅することができる。
部分的6-DoFポーズオフセットを用いて外因性を修正する地域対応外因性補償フレームワークRECOを提案する。
論文 参考訳(メタデータ) (2026-07-23T05:56:42Z) - CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation [50.353919095724315]
実世界のシナリオにおける効率的な展開の急激な需要により,ビデオ拡散モデルの蒸留が注目されている。
我々は,凍結教師とオンライン偽モデルによって既に生成されているスコア推定を再利用し,対関係行列を構成する軽量リレーショナルレギュレータであるCopula-Aware DMD(CoDMD)を提案する。
1.3Bと14BスケールのWan-2.1-T2Vモデルシリーズで、CoDMDは50ステップの教師を4ステップの学生に蒸留し、VBenchスコア84.46と84.87を達成しながら、およそ25$times$ Speed-upを達成した。
論文 参考訳(メタデータ) (2026-06-20T10:33:14Z) - Implicit Drifting Policy: One-Step Action Generation via Conditional Expert Geometry [46.0185525503119]
Implicit Drifting Policy (IDP)は、ロボット制御のための一段階の模倣学習フレームワークである。
IDPは、明示的なベクトル場推定なしでポリシー学習にドリフトの訓練時間補正をもたらす。
論文 参考訳(メタデータ) (2026-05-31T08:39:57Z) - MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation [65.068801413044]
連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。
ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
論文 参考訳(メタデータ) (2026-05-18T01:52:12Z) - Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。
FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。
本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
論文 参考訳(メタデータ) (2026-04-27T11:23:18Z) - DOC-GS: Dual-Domain Observation and Calibration for Reliable Sparse-View Gaussian Splatting [80.43237927269575]
本稿では,新しい視点からスパースビュー3DGSの再構築について再考する。
我々は、ガウスの原始的信頼性の観測不能性として、コアチャレンジを識別する。
この観測を動機として、レンダリング画像フレームワークにおける統合されたデュアルドメイン観測と幾何学的手法を提案する。
論文 参考訳(メタデータ) (2026-04-08T07:01:24Z) - Preference Score Distillation: Leveraging 2D Rewards to Align Text-to-3D Generation with Human Preference [69.34278282513593]
Preference Score Distillation (PSD) は、3Dトレーニングデータなしでテキストから3D合成を行うための最適化ベースのフレームワークである。
我々の重要な洞察は、ピクセルレベルの勾配の不整合性に起因している。
我々は、好みスコアと負のテキスト埋め込みを協調最適化するための適応戦略を導入する。
論文 参考訳(メタデータ) (2026-03-02T08:23:36Z) - Breaking the Curse of Repulsion: Optimistic Distributionally Robust Policy Optimization for Off-Policy Generative Recommendation [8.112649652437705]
この解決策は、ノイズの多い行動方針に絡み合った潜伏した高品質な分布を厳格に特定することにあると我々は主張する。
このDRO目標に対してハードフィルタが正確な解であることを証明するため,DRPOは発散雑音を厳密に排除しつつ,高品質な動作を最適に回復することができる。
論文 参考訳(メタデータ) (2026-02-11T02:18:27Z) - EMAG: Self-Rectifying Diffusion Sampling with Exponential Moving Average Guidance [31.550239698285058]
拡散および流れマッチング生成モデルでは、サンプルの品質と一貫性を改善するためにガイダンス技術が広く用いられている。
最近の研究では、より弱いモデルを用いた推論における負のサンプルの対比について検討している。
本研究では,拡散変圧器における推定時間における注意を変調するトレーニング不要なメカニズムである,指数移動平均誘導(EMAG)を提案する。
論文 参考訳(メタデータ) (2025-12-19T07:36:07Z) - Target-Balanced Score Distillation [6.815973656627764]
SDS(Score Distillation Sampling)は、事前訓練された2次元テキスト-画像拡散モデルから先行データを蒸留することで、3Dアセット生成を可能にする。
この問題を緩和するために、最近の変種にはネガティブなプロンプトが組み込まれている。
これらの手法は、限られたテクスチャ最適化や、形状歪みを伴う重要なテクスチャゲインといった重要なトレードオフに直面している。
論文 参考訳(メタデータ) (2025-11-12T15:53:01Z) - Boosting Fidelity for Pre-Trained-Diffusion-Based Low-Light Image Enhancement via Condition Refinement [63.54516423266521]
事前学習拡散ベース(PTDB)法は、しばしばコンテンツ忠実さを犠牲にして知覚的リアリズムを高める。
本稿では,事前学習した拡散モデルにおける条件付けのための新しい最適化手法を提案する。
我々のアプローチはプラグアンドプレイであり、より効率的な制御を提供するために既存の拡散ネットワークにシームレスに統合される。
論文 参考訳(メタデータ) (2025-10-20T02:40:06Z) - Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。
提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。
SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
論文 参考訳(メタデータ) (2025-07-24T16:45:05Z) - Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。
RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。
自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
論文 参考訳(メタデータ) (2025-05-19T17:21:03Z) - Supercharged One-step Text-to-Image Diffusion Models with Negative Prompts [19.609393551644562]
負のプロンプトを1段階拡散モデルに統合する効率的な方法である textbfNegative-textbfAway textbfSteer textbfAttention (NASA) を導入する。
NASAは、望ましくない視覚特性を抑えるためにクロスアテンション機構を活用することで、中間表現空間内で運用している。
論文 参考訳(メタデータ) (2024-12-03T18:56:32Z) - Adaptive Gradient Clipping for Robust Federated Learning [8.268485501864939]
本稿では,適応型クリッピング戦略である適応ロバストクリッピング(ARC)を提案し,入力勾配に基づいて動的にクリッピング閾値を調整する。
ARCは、特に高度に異質で対向的な設定において、ロバスト性を大幅に向上させる。
論文 参考訳(メタデータ) (2024-05-23T11:00:31Z) - Improving Adversarial Transferability via Intermediate-level
Perturbation Decay [79.07074710460012]
我々は,一段階の最適化で敵の例を再現する新しい中間レベル手法を開発した。
実験結果から, 種々の犠牲者モデルに対する攻撃において, 最先端技術よりも大きな差が認められた。
論文 参考訳(メタデータ) (2023-04-26T09:49:55Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳(メタデータ) (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。