論文の概要: DIVA: Harnessing the Representation Divergence in Unified Multimodal Models for Mutual Reinforcement

• arxiv url: http://arxiv.org/abs/2605.25328v1
• Date: Mon, 25 May 2026 01:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.229067
• Title: DIVA: Harnessing the Representation Divergence in Unified Multimodal Models for Mutual Reinforcement
• Title（参考訳）: DIVA: 相互強化のための統一マルチモーダルモデルにおける表現の多様性を損なう
• Authors: Renjie Lu, Xulong Zhang, Xiaoyang Qu, Shangfei Wang, Jianzong Wang,
• Abstract要約: 統一マルチモーダルモデル(UMM)は、理解と生成の両方において優れた性能を示している。 我々は、異なる監視信号によって誘導される誘導バイアスに起因する根本的な課題を特定する。 本研究では,自己改善型ポストトレーニングフレームワークであるDIVAを提案し,表現の発散を内部のシナジーに変換する。
• 参考スコア（独自算出の注目度）: 42.87874090062771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified Multimodal models (UMMs) built on a single architecture have shown impressive performance in both understanding and generation. We identify a fundamental challenge that lies in inductive biases induced by distinct supervision signals: generation branch prefers high-fidelity, fine-grained representations capable of reconstruction, while the understanding favours semantically discriminative embeddings that remain invariant to task-irrelevant factors. Consequently, optimizing these complementary but non-equivalent objectives within a monolithic backbone leads to mutual impairment instead of enhancement. In this paper, we first analyze the root cause of this interference in unified backbones and reveal a complementary structure in their internal representations. Motivated by the observation, we propose DIVA, a self-improved post-training framework that transforms the representation divergence into interior synergy. By explicitly factorizing the visual representation into shared and unique components based on two complementary information flow, DIVA enables both the understanding and generation branches to achieve beneficial transferring while preserving the integrity of unique information from cross-flow interference via mutual information estimation. Despite its generality, our method consistently achieves improvements across visual understanding (+7.82%) and generation (+8.46%). The official code is available at: https://github.com/Jayyy-H/DIVA.
• Abstract（参考訳）: 単一のアーキテクチャ上に構築された統一マルチモーダルモデル(UMM)は、理解と生成の両方において優れたパフォーマンスを示している。 生成枝は高忠実できめ細かな表現を好み、理解はタスク非関連要因に不変な意味的に差別的な埋め込みを好んでいる。 その結果、モノリシックなバックボーン内でこれらの相補的だが非等価な目的を最適化することは、強化ではなく相互障害につながる。 本稿では、まず、この干渉の根本原因を統一されたバックボーンで解析し、その内部表現に相補的な構造を明らかにする。 本研究の目的は,表現の発散を内部の相乗効果に変換する自己改善後学習フレームワークであるDIVAを提案することである。 視覚表現を2つの相補的な情報フローに基づいて共有およびユニークなコンポーネントに明示的に分解することにより、DIVAは、相互情報推定によるクロスフロー干渉からの一意情報の完全性を維持しつつ、理解と生成の両方の分岐を有益に行うことができる。 汎用性にもかかわらず、我々の手法は視覚的理解(+7.82%)と生成(+8.46%)の改善を一貫して達成している。 公式コードは、https://github.com/Jayyy-H/DIVA.comで入手できる。

関連論文リスト

• UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations [45.861324782424326]
  現在の統合マルチモーダルモデルは、通常、モダリティギャップを埋めるために離散的な視覚トークン化器に依存している。 圧縮された連続表現によるマルチモーダル理解と生成を調和させる統一フレームワークUniComを導入する。
  論文  参考訳（メタデータ） (2026-03-11T12:14:26Z)
• Enhancing Semi-Supervised Multi-View Graph Convolutional Networks via Supervised Contrastive Learning and Self-Training [9.300953069946969]
  グラフ畳み込みネットワーク(GCN)に基づく多視点学習は、異種視点から構造情報を統合するための強力なフレームワークを提供する。 既存のメソッドはビューをまたいだ補完的な情報を十分に活用することができず、最適化された特徴表現と限られたパフォーマンスに繋がる。 MV-SupGCNは,複数の相補的成分と明確なモチベーションと相互強化を統合した半教師付きGCNモデルである。
  論文  参考訳（メタデータ） (2025-12-15T16:39:23Z)
• Align & Invert: Solving Inverse Problems with Diffusion and Flow-based Models via Representational Alignment [13.028121107802127]
  逆問題では、事前訓練された生成モデルが先行として使用される。 本稿では,拡散モデルとフローベースモデル間の表現アライメント(REPA)を適用することを提案する。 モデル表現と近似的対象特徴との整合性は、再構成の忠実度と知覚的リアリズムを大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-11-21T00:37:04Z)
• Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark [69.8473923357969]
  統一マルチモーダルモデルは、視覚的理解と生成を共同で行うことを目的としているが、現在のベンチマークでは、その真の統合を検査することはめったにない。 提案するUni-MMMUは、8つの推論中心領域にまたがる生成と理解の双方向の相乗効果を拡大する総合的なベンチマークである。
  論文  参考訳（メタデータ） (2025-10-15T17:10:35Z)
• Semantic Item Graph Enhancement for Multimodal Recommendation [49.66272783945571]
  マルチモーダルレコメンデーションシステムは、商品のマルチモーダル情報を活用することで、パフォーマンスの向上に注目が集まっている。 先行する手法は、しばしばモダリティ固有のアイテム・イテム意味グラフを生のモダリティの特徴から構築する。 これらのセマンティックグラフは、アイテム間の協調信号のモデリングが不十分ななど、セマンティックな欠陥に悩まされている。
  論文  参考訳（メタデータ） (2025-08-08T09:20:50Z)
• Unity in Diversity: Multi-expert Knowledge Confrontation and Collaboration for Generalizable Vehicle Re-identification [60.20318058777603]
  一般化可能な車両再識別(ReID)は、微調整や再訓練を必要とせず、未知のターゲットドメインに適応可能なモデルの開発を目指している。 これまでの研究は主に、ソースドメイン間のデータ分散を調整することで、ドメイン不変の機能の抽出に重点を置いてきた。 そこで本研究では,この問題を解決するために,2段階のMulti-expert Knowledge Confrontation and Collaboration(MiKeCoCo)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T04:06:39Z)
• Local Consensus Enhanced Siamese Network with Reciprocal Loss for Two-view Correspondence Learning [35.5851523517487]
  2視点対応学習は通常、一致の信頼性と相対的なポーズを共同で予測するエンドツーエンドネットワークを確立する。 本稿では,既存のモデルの特徴を増強するローカル・フィーチャー・コンセンサス (LFC) プラグイン・ブロックを提案する。 我々は既存のモデルを相互予測の監督を生かした相互損失を伴うシームズネットワークに拡張する。
  論文  参考訳（メタデータ） (2023-08-06T22:20:09Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• The Transitive Information Theory and its Application to Deep Generative Models [0.0]
  変分オートエンコーダ(VAE)は2つの反対方向に押される。 既存の方法では、圧縮と再構成の間のレート歪みのトレードオフに問題を絞り込む。 一般化のために学習した表現を再結合する機構とともに,非交叉表現の階層構造を学習するシステムを開発する。
  論文  参考訳（メタデータ） (2022-03-09T22:35:02Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。