論文の概要: Binding Multiple Modalities via Multimodal Wasserstein Barycenter

• arxiv url: http://arxiv.org/abs/2609.33800v1
• Date: Sun, 27 Sep 2026 17:56:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:38:21.227197
• Title: Binding Multiple Modalities via Multimodal Wasserstein Barycenter
• Title（参考訳）: マルチモーダルワッサースタインバリセンタによる複数モーダルの結合
• Abstract要約: 本稿では,すべてのモダリティに最適化されたWB(Wasserstein Barycenter)への特定のモダリティの輸送を目的としたBaryBindを提案する。 具体的には、平均ワッサーシュタイン距離をマルチモーダル分布に最小化するWBに特定のモダリティを投影する。 実験の結果,BaryBindはテキスト・ビデオ・オーディオ検索,分類,ビデオQA,モーダル・ジェネレーション・タスクにおいて競争力を発揮することがわかった。
• 参考スコア（独自算出の注目度）: 45.341424219860215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal learning beyond two modalities commonly leverages a specific modality (e.g., text) to bind other modalities. However, how to establish a more balanced representation space that approximates shared semantics while respecting the holistic geometry of $n$-modal data remains challenging. In this work, we present BaryBind, which aims to transport the specific modality towards the Wasserstein barycenter (WB) optimized across all modalities and introduces a volumetric alignment objective to establish a unified semantic space around the WB embedding. Specifically, we project specific modalities to the WB, which minimizes the average Wasserstein distances to multimodal distributions and serves as the anchor for subsequent alignment. We then construct a barycenter simplex, whose volume is taken as a similarity metric for global alignment centered at the WB. Experiments show that BaryBind achieves competitive performance in text-video-audio retrieval, classification, videoQA, and cross-modal generation tasks, along with robustness under modality absence and scalability to more than three modalities. Code is released at https://github.com/xl-tang3/BaryBind.
• Abstract（参考訳）: 2つのモダリティを超えたマルチモーダル学習は、通常、特定のモダリティ(例えばテキスト)を利用して他のモダリティと結合する。 しかし、$n$-modalデータの全体幾何学を尊重しながら共有意味論を近似するよりバランスのとれた表現空間を確立する方法はまだ難しい。 本稿では,すべてのモダリティに最適化されたWasserstein Barycenter(WB)に対して,特定のモダリティを伝達することを目的としたBaryBindを紹介し,WB埋め込みの周囲に統一的な意味空間を確立するために,ボリュームアライメントの目的を導入する。 具体的には、平均ワッサーシュタイン距離をマルチモーダル分布に最小化し、その後のアライメントのアンカーとして機能するWBに特定のモダリティを投影する。 次に、WBを中心とする大域的アライメントの類似度指標として体積が取られるバリセンタ単純体を構築する。 実験により、BaryBindは、モダリティの欠如と3つ以上のモダリティに対するスケーラビリティとともに、テキスト・オーディオ検索、分類、ビデオQA、およびクロスモーダル生成タスクにおいて、競争力を発揮することが示された。 コードはhttps://github.com/xl-tang3/BaryBind.comで公開されている。

関連論文リスト

• Hyperbolic Multimodal Continual Learning: A Closest-Admissible Solution [90.3699346061366]
  従来のマルチモーダル幾何を保存することは、すべてのモダリティを1つの共有双曲等長に制限することを意味する。 提案手法では, 共用回転を最適に維持する結合最接近許容補正法(CA)を定式化する。
  論文  参考訳（メタデータ） (2026-09-24T10:04:52Z)
• BiXFormer: A Robust Framework for Maximizing Modality Effectiveness in Multi-Modal Semantic Segmentation [55.486872677160015]
  マスクレベルの分類タスクとしてマルチモーダルなセマンティックセグメンテーションを再構成する。 統一モダリティマッチング(UMM)とクロスモダリティアライメント(CMA)を統合したBiXFormerを提案する。 合成および実世界のマルチモーダルベンチマーク実験により,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-04T08:04:58Z)
• MINIMA: Modality Invariant Image Matching [52.505282811925454]
  複数のクロスモーダルケースを対象とした統合画像マッチングフレームワークであるMINIMAを提案する。 生成モデルを用いて、安価だがリッチなRGBのみのマッチングデータからモダリティをスケールアップする。 MD-synでは、任意の高度なマッチングパイプラインをランダムに選択したモダリティペアで直接訓練して、クロスモーダル能力を得ることができる。
  論文  参考訳（メタデータ） (2024-12-27T02:39:50Z)
• Gramian Multimodal Representation Learning and Alignment [5.793118803623239]
  グラミアン表現アライメント尺度(GRAM)について紹介する。 GRAMは、モダリティ埋め込みが横たわる高次元空間において、$n$モダリティを学習し、アライメントする。 GRAMに基づく新しいコントラスト損失関数は、高次元埋め込み空間におけるマルチモーダルモデルのアライメントを高める。
  論文  参考訳（メタデータ） (2024-12-16T16:41:51Z)
• Anchors Aweigh! Sail for Optimal Unified Multi-Modal Representations [22.45586503859047]
  多様なデータソースを効果的に統合するためには,マルチモーダル学習における統一表現空間が不可欠である。 ImageBindのような最近のバインディング手法は、通常、複数のモーダルデータを整列するために単一の固定アンカーモダリティに依存している。 我々は,我々のフレームワークであるCentroBindで実証された適応型アンカーバインディング手法の必要性を提案する。
  論文  参考訳（メタデータ） (2024-10-02T23:19:23Z)
• Babel: A Scalable Pre-trained Model for Multi-Modal Sensing via Expandable Modality Alignment [14.0873117319398]
  Babelはマルチモーダルセンシング用に特別に設計された拡張可能なモーダルアライメントモデルである。 バベルは個々のモダリティセンシングの性能(平均精度12%)を向上するだけでなく、利用可能な複数のモダリティ(最大22%の精度向上)を効果的に融合させる。 ケーススタディでは、クロスモダリティ検索(つまり、センシングイメージング)や、理解を感知するためのブリッジングLDMなど、Babelによって強化された新たなアプリケーションシナリオも強調されている。
  論文  参考訳（メタデータ） (2024-07-25T05:10:48Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。