論文の概要: ARIA: Adaptive Region-Based Importance Allocation for Conditional Diffusion Distillation

• arxiv url: http://arxiv.org/abs/2606.23898v1
• Date: Mon, 22 Jun 2026 19:54:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.646948
• Title: ARIA: Adaptive Region-Based Importance Allocation for Conditional Diffusion Distillation
• Title（参考訳）: ARIA: 条件付き拡散蒸留における適応型領域ベース重要度割当
• Authors: Loay Mualem, Vinh Tong, Samir Darouich, Mathias Niepert,
• Abstract要約: 条件付き拡散モデルの蒸留は、条件付き入力のアライメントを維持しながら、大きな教師の振る舞いをより小さな学生に伝達することを目的としている。 認識タスクとは異なり、条件拡散における知識の蒸留は、しばしば訓練分布を超えて知識を伝達するのに苦労する。 条件空間の粗い領域にまたがってトレーニング作業を適応的に割り当てるフレームワークであるARIAを紹介する。
• 参考スコア（独自算出の注目度）: 22.44250224671764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distilling conditional diffusion models aims to transfer the behavior of a large teacher to a smaller student while preserving alignment across conditioning inputs. Unlike recognition tasks, knowledge distillation in conditional diffusion often struggles to transfer knowledge beyond the training distribution, since the predicted noise strongly depends on the conditioning signal. As a result, effective distillation requires exploring a large conditioning space. In practical settings, this creates a major bottleneck. Paired image-condition data may be limited, and generating synthetic images for every available condition is often computationally infeasible, while the pool of conditions, such as text prompts, can be extremely large. Recent work addresses this issue by switching conditions during training, exposing the student to a broader conditioning space without changing the distillation objective. Yet this raises a complementary question: once a large conditioning corpus is available, how should the training effort be allocated? In this work, we introduce ARIA, a framework that adaptively allocates training effort across coarse regions of the conditioning space. By maintaining online estimates of teacher-student discrepancy at the region level, ARIA focuses updates where misalignment persists while preserving the original distillation objective. Empirically, ARIA improves over RC across most architectures and settings, with the clearest gains observed in unseen and underrepresented regimes. We also provide a theoretical analysis showing that the proposed tracking mechanism follows the evolving discrepancy during training under bounded variance and drift assumptions.
• Abstract（参考訳）: 条件付き拡散モデルの蒸留は、条件付き入力のアライメントを維持しながら、大きな教師の振る舞いをより小さな学生に伝達することを目的としている。 認識タスクとは異なり、条件拡散における知識の蒸留は、予測されたノイズが条件付け信号に強く依存するため、トレーニング分布を超えた知識の伝達に苦慮することが多い。 その結果、効果的な蒸留には大きな条件空間を探索する必要がある。 現実的な設定では、これは大きなボトルネックを生み出します。 ペア画像条件データには制限があり、利用可能な条件ごとに合成画像を生成することは、しばしば計算不可能であり、テキストプロンプトのような条件のプールは非常に大きい。 最近の研究は、訓練中に条件を切り替え、蒸留目標を変更することなくより広い条件空間に学生を露出させることによってこの問題に対処している。 大規模な条件付コーパスが利用可能になったら、どのようにトレーニングの労力を割り当てるべきなのか? 本研究では,条件空間の粗い領域にまたがるトレーニング作業を適応的に割り当てるフレームワークであるARIAを紹介する。 地域レベルでの教師/学生の不一致のオンライン評価を維持することにより、ARIAは、本来の蒸留目標を維持しながら、誤調整が持続する場所の更新に焦点を当てる。 経験的に、ARIAは、ほとんどのアーキテクチャや設定でRCよりも改善されており、目に見えない、表現不足のレシエーションで最も明確な利得がある。 また,提案手法は,有界分散およびドリフト仮定の下でのトレーニング中に進行する不一致に追従することを示す理論解析を行った。

関連論文リスト

• SWARD: Stochastic Window-Attention-Based Relational Distillation for Cross-Architectural Semantic Segmentation [1.1617094867403568]
  大規模視覚基盤モデルは、セマンティックセグメンテーションのような密集した予測タスクに大きな利益をもたらした。 現代の基礎教師は、主にグローバルコンテキストを符号化するトランスフォーマーベースであるのに対し、効率的な学生は、通常、局所的に偏った受容場を持つ畳み込みネットワークである。 既存の蒸留法は主に構造的均質性を前提としており、直接的特徴模倣に依存しており、この表現的ギャップを埋めることができない。 本稿では,このギャップを2つの相補的なメカニズムで解決する知識蒸留フレームワークSWARDを提案する。
  論文  参考訳（メタデータ） (2026-05-31T04:29:31Z)
• Augmenting Moment Retrieval: Zero-Dependency Two-Stage Learning [33.16156949633519]
  局所最適化を克服するため、ゼロ外部依存性拡張モーメント検索フレームワークAMRを提案する。 AMRは、追加データなしで既存のアノテーションの曖昧な境界情報と意味的混乱を解決する。 AMRは従来の最先端のアプローチよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-22T14:19:38Z)
• Improved Immiscible Diffusion: Accelerate Diffusion Training by Reducing Its Miscibility [62.272571285823595]
  不和がいかに軽視し、効率を向上するかを示す。 そこで本稿では,K-nearest neighbor (KNN) ノイズ選択や画像スケーリングなどの実装のファミリを提案する。 この研究は、今後の高効率拡散訓練研究の新たな方向性を確立する。
  論文  参考訳（メタデータ） (2025-05-24T05:38:35Z)
• Conditioning Matters: Training Diffusion Policies is Faster Than You Think [69.31534053485711]
  拡散政策は、視覚言語アクション(VLA)モデルを構築するための主流パラダイムとして登場した。 条件拡散政策訓練の基本的な課題は, 生成条件の識別が困難である場合, 訓練対象が限界行動分布をモデル化することである。 条件に依存しない条件付きフローマッチングにおけるソース分布を変更するソリューションであるCocosを提案する。
  論文  参考訳（メタデータ） (2025-05-16T11:14:22Z)
• Conditional Variable Flow Matching: Transforming Conditional Densities with Amortized Conditional Optimal Transport [0.0]
  本研究では,連続条件変数間のアモート化を伴う条件分布の変換を学習するフレームワークを提案する。 特に、メイン変数とコンディショニング変数の同時サンプル条件付きフローは、条件付きワッサースタイン距離と損失再重み付けカーネル条件付き最適輸送とを併せ持つ。 CVFMは、離散的かつ連続的な条件付きマッピングベンチマーク、画像から画像へのドメイン転送、製造過程における材料内部構造の時間的進化をモデル化するなど、ますます困難な問題群で実証する。
  論文  参考訳（メタデータ） (2024-11-13T03:42:55Z)
• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• Hazy Re-ID: An Interference Suppression Model For Domain Adaptation Person Re-identification Under Inclement Weather Condition [9.577145340915115]
  本稿では,ドメイン適応型Re-IDにおける悪天候による干渉に対処する新しい干渉抑制モデル(ISM)を提案する。 提案手法は,2つの合成データセットにおいて,最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-04-22T11:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。