論文の概要: DiFuse: Fusing Native Diffusion Representations for Spatial Reasoning in Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2610.39609v1
• Date: Thu, 29 Oct 2026 08:43:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 23:13:50.593316
• Title: DiFuse: Fusing Native Diffusion Representations for Spatial Reasoning in Unified Multimodal Models
• Title（参考訳）: DiFuse: 統一マルチモーダルモデルにおける空間推論のためのネイティブ拡散表現
• Abstract要約: 中間拡散表現をUMMの理解経路に選択的に組み込んだDiFuseを提案する。 UniWorld-V1の大規模な実験では、DiFuseは一致したSFTベースライン上での空間的推論を継続的に改善している。 さらに分析したところ、これらの利得は拡散表現の選択、射出位置、および拡散特徴と視覚トークンの間の空間的対応の保存に依存していることがわかった。
• 参考スコア（独自算出の注目度）: 9.775709077550209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models (UMMs) jointly support visual understanding and image generation, yet information flow between these two capabilities remains largely asymmetric: understanding representations routinely condition generation, whereas generative representations are rarely reused for multimodal reasoning. In this work, we investigate whether intermediate representations from a UMM's native diffusion branch can enhance spatial reasoning without compromising general multimodal understanding. We propose DiFuse, which selectively incorporates intermediate diffusion representations into the understanding pathway of UMMs. Through systematic layer-wise analysis, we identify which diffusion representations are most informative and where they can be integrated with minimal interference to semantic processing. Guided by these findings, DiFuse spatially aligns diffusion features with visual tokens and injects them into selected multimodal decoder layers via residual fusion. Extensive experiments on UniWorld-V1 show that, DiFuse consistently improves spatial reasoning over a matched SFT baseline while maintaining broadly comparable performance on general multimodal benchmarks. Further analyses show that these gains depend critically on the choice of diffusion representations, injection positions, and the preservation of spatial correspondence between diffusion features and visual tokens. Results on OmniGen2 further demonstrate the transferability of DiFuse across unified multimodal architectures. Overall, our findings show that native diffusion representations can provide complementary spatial cues for multimodal reasoning when selectively integrated in a structure-preserving manner.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は視覚的理解と画像生成を共同で支援するが、これら2つの機能間の情報フローは概ね非対称である。 本研究では,UMMの固有拡散分岐からの中間表現が,一般的なマルチモーダル理解を損なうことなく空間的推論を向上させることができるかどうかを検討する。 中間拡散表現をUMMの理解経路に選択的に組み込んだDiFuseを提案する。 系統的な層構造解析により,どの拡散表現が最も有益なのか,またセマンティック処理への最小の干渉と一体化できるのかを同定する。 これらの知見に導かれて、DiFuseは空間的拡散特性を視覚トークンと整合させ、残差融合により選択したマルチモーダルデコーダ層に注入する。 UniWorld-V1の大規模な実験により、DiFuseは一致したSFTベースライン上での空間的推論を継続的に改善し、一般的なマルチモーダルベンチマークで広く比較できる性能を維持した。 さらに分析したところ、これらの利得は拡散表現の選択、射出位置、および拡散特徴と視覚トークンの間の空間的対応の保存に依存していることがわかった。 OmniGen2の結果はさらに、統合マルチモーダルアーキテクチャ間のDiFuseの転送可能性を示している。 以上の結果から, 自然拡散表現は, 構造保存法を選択的に統合した場合に, 多モーダル推論に相補的な空間的手がかりを与える可能性が示唆された。

関連論文リスト

• Diffusion-CAM: Faithful Visual Explanations for dMLLMs [8.78213424930081]
  Diffusion-CAMは、dMLLMに特化された最初の解釈可能性法である。 バックボーンの中間表現を微分して生の活性化マップを導出する。 実験の結果,Diffusion-CAMは局所化精度と視覚的忠実度の両方でSoTA法よりも優れていた。
  論文  参考訳（メタデータ） (2026-04-13T05:14:18Z)
• Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion [66.78268790956493]
  オムニ・ディフュージョン(Omni-Diffusion)は、マスクベースの離散拡散モデルに基づいて構築された、最初の任意のマルチモーダル言語モデルである。 本手法は2つ以上のモダリティを処理する既存のマルチモーダルシステムに匹敵する性能または性能を示す。
  論文  参考訳（メタデータ） (2026-03-06T18:59:57Z)
• Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
  拡散言語モデルは必ずしも離散空間にある必要はないと主張する。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
  論文  参考訳（メタデータ） (2025-10-03T17:44:41Z)
• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• Balanced Diffusion-Guided Fusion for Multimodal Remote Sensing Classification [43.05726181699589]
  本稿では,土地被覆分類のためのマルチブランチネットワークを誘導する拡散誘導型融合フレームワークを提案する。 4つのマルチモーダルリモートセンシングデータセットの実験により,提案手法が優れた分類性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-09-27T13:55:32Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Vision-Language Semantic Aggregation Leveraging Foundation Model for Generalizable Medical Image Segmentation [5.597576681565333]
  本稿では,期待最大化(EM)アグリゲーション機構とテキストガイド付きPixelデコーダを提案する。 後者は、ドメイン不変のテキスト知識を利用して、深い視覚的表現を効果的に導くことによって、意味的ギャップを埋めるように設計されている。 提案手法は,複数の領域一般化ベンチマークにおいて,既存のSOTA手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-09-10T13:16:30Z)
• Diffusion Features to Bridge Domain Gap for Semantic Segmentation [2.8616666231199424]
  本稿では, 拡散モデルの特徴を効率的に活用するために, サンプリングおよび融合技術を活用するアプローチについて検討する。 テキスト・画像生成能力の強みを生かして、暗黙的に後部知識を学習する新しいトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-02T15:33:46Z)
• On the Multi-modal Vulnerability of Diffusion Models [56.08923332178462]
  本稿では,MMP-Attackによる拡散モデル生成結果の操作について,特定の接尾辞を元のプロンプトに付加することで提案する。 我々のゴールは、拡散モデルを誘導し、元のオブジェクトを同時に除去しながら特定のオブジェクトを生成することである。
  論文  参考訳（メタデータ） (2024-02-02T12:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。