論文の概要: Towards General Modality Translation with Contrastive and Predictive Latent Diffusion Bridge

• arxiv url: http://arxiv.org/abs/2510.20819v2
• Date: Sun, 26 Oct 2025 09:13:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 13:14:10.635866
• Title: Towards General Modality Translation with Contrastive and Predictive Latent Diffusion Bridge
• Title（参考訳）: コントラスト型および予測型遅延拡散橋による汎用モダリティ翻訳に向けて
• Authors: Nimrod Berman, Omkar Joglekar, Eitan Kosman, Dotan Di Castro, Omri Azencot,
• Abstract要約: Latent Denoising Diffusion Bridge Model (LDDBM)は、モーダル翻訳のための汎用フレームワークである。 共用ラテント空間で演算することにより、任意のモード間のブリッジを、整列次元を必要とせずに学習する。 提案手法は任意のモダリティペアをサポートし,マルチビューから3次元形状生成,画像超解像,マルチビューシーン合成など,多様なMTタスクに強く依存する。
• 参考スコア（独自算出の注目度）: 16.958159611661813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in generative modeling have positioned diffusion models as state-of-the-art tools for sampling from complex data distributions. While these models have shown remarkable success across single-modality domains such as images and audio, extending their capabilities to Modality Translation (MT), translating information across different sensory modalities, remains an open challenge. Existing approaches often rely on restrictive assumptions, including shared dimensionality, Gaussian source priors, and modality-specific architectures, which limit their generality and theoretical grounding. In this work, we propose the Latent Denoising Diffusion Bridge Model (LDDBM), a general-purpose framework for modality translation based on a latent-variable extension of Denoising Diffusion Bridge Models. By operating in a shared latent space, our method learns a bridge between arbitrary modalities without requiring aligned dimensions. We introduce a contrastive alignment loss to enforce semantic consistency between paired samples and design a domain-agnostic encoder-decoder architecture tailored for noise prediction in latent space. Additionally, we propose a predictive loss to guide training toward accurate cross-domain translation and explore several training strategies to improve stability. Our approach supports arbitrary modality pairs and performs strongly on diverse MT tasks, including multi-view to 3D shape generation, image super-resolution, and multi-view scene synthesis. Comprehensive experiments and ablations validate the effectiveness of our framework, establishing a new strong baseline in general modality translation. For more information, see our project page: https://sites.google.com/view/lddbm/home.
• Abstract（参考訳）: 生成モデリングの最近の進歩は、拡散モデルを複雑なデータ分布からサンプリングするための最先端のツールとして位置づけている。 これらのモデルは、画像やオーディオなどの単一モダリティ領域で顕著に成功し、その能力をモダリティ翻訳(MT)に拡張し、異なる感覚的モダリティ間で情報を翻訳することは、依然としてオープンな課題である。 既存のアプローチは、しばしば、共有次元性、ガウス的情報源、そしてそれらの一般化と理論的な基礎を制限するモダリティ固有のアーキテクチャなど、制限的な仮定に依存している。 本研究では,遅延拡散ブリッジモデル(LDDBM, Latent Denoising Diffusion Bridge Model)を提案する。 共用ラテント空間で演算することにより、任意のモード間のブリッジを、整列次元を必要とせずに学習する。 本稿では,ペア間のセマンティック一貫性を強制するコントラストアライメントロスを導入し,潜在空間における雑音予測に適したドメインに依存しないエンコーダ・デコーダアーキテクチャを設計する。 さらに、正確なドメイン間翻訳に向けてトレーニングを指導し、安定性を向上させるためのいくつかのトレーニング戦略を探索する予測的損失を提案する。 提案手法は任意のモダリティペアをサポートし,マルチビューから3次元形状生成,画像超解像,マルチビューシーン合成など,多様なMTタスクに強く依存する。 総合的な実験と改善により、我々のフレームワークの有効性が検証され、一般的なモダリティ翻訳における新たな強力なベースラインが確立された。 詳細はプロジェクトのページを参照してほしい。

関連論文リスト

• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• LADB: Latent Aligned Diffusion Bridges for Semi-Supervised Domain Translation [54.690154688667086]
  拡散モデルは高品質な出力を生成するのに優れているが、データスカースドメインでは課題に直面している。 サンプルからサンプルへの変換のための半教師付きフレームワークであるLatent Aligned Diffusion Bridges (LADB)を提案する。
  論文  参考訳（メタデータ） (2025-09-10T14:23:07Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces [10.85468238780625]
  任意の状態空間上に多モード拡散モデルを構築するための新しいフレームワークを提案する。 各モードに対して革新的な分離ノイズスケジュールを導入することにより、単一モデル内で非条件とモード条件の両方を同時に生成することが可能となる。
  論文  参考訳（メタデータ） (2025-06-09T16:20:20Z)
• Robust Latent Representation Tuning for Image-text Classification [9.789498730131607]
  大規模モデルに対する頑健な潜在表現チューニング手法を提案する。 提案手法では,モダリティ間の相関を最大化するために,モダリティ潜在翻訳モジュールを導入し,ロバストな表現を実現する。 このフレームワークでは、トレーニング中に共通セマンティクスが洗練され、1つのモダリティがなくてもロバストなパフォーマンスが達成される。
  論文  参考訳（メタデータ） (2024-06-10T06:29:00Z)
• Diffusion Features to Bridge Domain Gap for Semantic Segmentation [2.8616666231199424]
  本稿では, 拡散モデルの特徴を効率的に活用するために, サンプリングおよび融合技術を活用するアプローチについて検討する。 テキスト・画像生成能力の強みを生かして、暗黙的に後部知識を学習する新しいトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-02T15:33:46Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。