論文の概要: InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

• arxiv url: http://arxiv.org/abs/2610.13944v2
• Date: Thu, 15 Oct 2026 04:10:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.820282
• Title: InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators
• Title（参考訳）: InstantFusion:不均一画像生成のための共有遅延インタフェース
• Abstract要約: 拡散流モデルは、画像生成のデファクトパラダイムとして登場してきた。 その顕著な生成能力にもかかわらず、潜在表現とその根底にある認知力学のクロスモデルアライメントは未解明のままである。 InstantFusionは、異種画像生成装置のノイズ発生軌跡を接続する軽量な共有潜在インタフェースである。
• 参考スコア（独自算出の注目度）: 33.63980877364654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion/flow models have emerged as the de facto paradigms for image generation, giving rise to a diverse family of modern generators with increasingly heterogeneous architectures and representations. Despite their remarkable generation capabilities, the cross-model alignment of latent representations and the consistency of their underlying denoising dynamics remain underexplored. In this work, we uncover an intriguing cross-model compatibility: independently trained generators exhibit similar latent spatial organization, while directly handing off intermediate states between unaligned models can still preserve coarse visual content. Motivated by these observations, we propose InstantFusion, a lightweight shared latent interface that connects the denoising trajectories of heterogeneous image generators. Specifically, to enable flexible cross-model state translation, model-specific Latent AutoEncoders (LAEs) are introduced to project intermediate states from different generators into a shared latent space and decode them into the latent space of a target generator. This shared space is constrained by two complementary objectives: aligning intermediate states derived from the same image at matched noise levels and synchronizing their corresponding local denoising velocities. Once trained, InstantFusion allows denoising to seamlessly transition across frozen generators without requiring a dedicated mapping for every model pair. The versatility of InstantFusion is demonstrated across acceleration, multi-preference composition, cross-architecture on-policy distillation, and cross-model composition, achieving competitive performance across these diverse settings.
• Abstract（参考訳）: 拡散/フローモデルは、画像生成のデファクトパラダイムとして登場し、ますます異質なアーキテクチャや表現を持つ現代のジェネレータの多種多様なファミリを生み出している。 それらの顕著な生成能力にもかかわらず、潜在表現のクロスモデルアライメントと基礎となるデノナイジングダイナミクスの一貫性はいまだに未発見のままである。 独立に訓練されたジェネレータは、類似した空間構造を示しながら、不整合モデル間で中間状態を直接渡すことは、いまだに粗い視覚コンテンツを保存することができる。 これらの観測によって動機づけられたInstantFusionは、異種画像生成装置の認知軌道を接続する軽量な共有潜在インタフェースである。 具体的には、フレキシブルなクロスモデル状態変換を可能にするために、モデル固有のラテントオートエンコーダ(LAE)を導入して、異なるジェネレータからの中間状態を共有ラテント空間に投影し、それらをターゲットジェネレータのラテント空間にデコードする。 この共有空間は、2つの相補的な目的により制約される: 一致した雑音レベルにおいて同じ画像から導出される中間状態の整列と、対応する局所的騒音速度の同期である。 トレーニングが完了すると、InstantFusionは、すべてのモデルペアに専用のマッピングを必要とせずに、凍結したジェネレータをシームレスに移行することができる。 InstantFusionの汎用性は, 加速, 多選好組成, クロスアーキテクチャオンポリケート蒸留, クロスモデル組成にまたがって実証され, これらの多様な設定で競争性能を達成している。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Can Heterogeneous Language Models Be Fused? [24.088997528611873]
  モデルマージは、複数の専門家モデルを単一のモデルに統合することを目的としています。 最近の進歩は、全てのソースモデルが均質である場合、すなわち、同じ事前訓練されたバックボーンから派生したマージングが非常に効果的であることを示している。 しかし、オープンモデルエコシステムでは、この仮定はますます非現実的になり、Llama、Qwen、Mistralのような異なるファミリーで有用な専門家がしばしば構築される。 このような不均質な環境では、直接重み空間融合が悪くなる
  論文  参考訳（メタデータ） (2026-04-02T06:21:21Z)
• Kuramoto Orientation Diffusion Models [67.0711709825854]
  指紋やテクスチャなどのオリエンテーションに富んだ画像は、しばしばコヒーレントな角模様を示す。 生体系における位相同期の役割を動機として,スコアベース生成モデルを提案する。 一般的な画像ベンチマークで競合する結果を実装し,指紋やテクスチャなどの指向性データセットの生成品質を大幅に向上する。
  論文  参考訳（メタデータ） (2025-09-18T18:18:49Z)
• AsynFusion: Towards Asynchronous Latent Consistency Models for Decoupled Whole-Body Audio-Driven Avatars [71.90109867684025]
  全体オーディオ駆動型アバターポーズと表現生成は、生命に似たデジタル人間を作るための重要なタスクである。 本稿では,拡散変換器を応用し,結合表現とジェスチャ合成を実現する新しいフレームワークAsynFusionを提案する。 AsynFusionは、リアルタイムで同期された全身アニメーションを生成する際に最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-21T03:28:53Z)
• Can We Achieve Efficient Diffusion without Self-Attention? Distilling Self-Attention into Convolutions [94.21989689001848]
  従来の自己アテンションモジュールをピラミッド畳み込みブロック((Delta)ConvBlocks)に置き換えるための(Delta)ConvFusionを提案する。 ローカライズされた畳み込み操作に注意パターンを蒸留し、他のコンポーネントを凍結させながら、(Delta)ConvFusionは、トランスフォーマーベースの処理に匹敵する性能を達成し、計算コストを6929$times$、LinFusionを5.42$times$の効率で上回る。
  論文  参考訳（メタデータ） (2025-04-30T03:57:28Z)
• A Hybrid Wavelet-Fourier Method for Next-Generation Conditional Diffusion Models [0.0]
  本稿では、拡散パラダイムをハイブリッド周波数表現に適応させる新しい生成モデリングフレームワーク、Wavelet-Fourier-Diffusionを提案する。 ハイブリッド周波数に基づく表現は,大域的コヒーレンスと微妙なテクスチャ合成の制御をいかに改善するかを示す。
  論文  参考訳（メタデータ） (2025-04-04T17:11:04Z)
• Causal Diffusion Transformers for Generative Modeling [19.919979972882466]
  本稿では,Diffusionモデルの自己回帰(AR)モデルとしてCausal Diffusionを紹介する。 CaulFusionはデコーダのみのトランスフォーマーで、シーケンシャルトークンと拡散ノイズレベルにまたがるデータを二重化する。
  論文  参考訳（メタデータ） (2024-12-16T18:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。