論文の概要: Principled Multimodal Representation Learning

• arxiv url: http://arxiv.org/abs/2507.17343v1
• Date: Wed, 23 Jul 2025 09:12:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.936124
• Title: Principled Multimodal Representation Learning
• Title（参考訳）: 原則的マルチモーダル表現学習
• Authors: Xiaohao Liu, Xiaobo Xia, See-Kiong Ng, Tat-Seng Chua,
• Abstract要約: マルチモーダル表現学習は、多様なデータモダリティを統合することにより、統一された表現空間を作ろうとする。 最近の進歩は、複数のモードの同時アライメントを調査しているが、いくつかの課題が残っている。 複数モーダルの同時アライメントを実現する新しいフレームワークであるPMRL(Principled Multimodal Representation Learning)を提案する。
• 参考スコア（独自算出の注目度）: 70.60542106731813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal representation learning seeks to create a unified representation space by integrating diverse data modalities to improve multimodal understanding. Traditional methods often depend on pairwise contrastive learning, which relies on a predefined anchor modality, restricting alignment across all modalities. Recent advances have investigated the simultaneous alignment of multiple modalities, yet several challenges remain, such as limitations imposed by fixed anchor points and instability arising from optimizing the product of singular values. To address the challenges, in this paper, we propose Principled Multimodal Representation Learning (PMRL), a novel framework that achieves simultaneous alignment of multiple modalities without anchor dependency in a more stable manner. Specifically, grounded in the theoretical insight that full alignment corresponds to a rank-1 Gram matrix, PMRL optimizes the dominant singular value of the representation matrix to align modalities along a shared leading direction. We propose a softmax-based loss function that treats singular values as logits to prioritize the largest singular value. Besides, instance-wise contrastive regularization on the leading eigenvectors maintains inter-instance separability and prevents representation collapse. Extensive experiments across diverse tasks demonstrate PMRL's superiority compared to baseline methods. The source code will be publicly available.
• Abstract（参考訳）: 多モーダル表現学習は、多モーダル理解を改善するために多様なデータモダリティを統合することにより、統一された表現空間を作ろうとする。 従来の手法はペアワイズ・コントラッシブ・ラーニング(英語版)に依存することが多いが、これは事前に定義されたアンカー・モダリティに依存し、すべてのモダリティのアライメントを制限する。 近年, 固定アンカー点による制限や特異値の積の最適化から生じる不安定性など, 複数モードの同時アライメントが研究されている。 この課題に対処するため,本研究では,より安定な手法で複数のモーダルの同時アライメントを実現する新しいフレームワークである原則的マルチモーダル表現学習(PMRL)を提案する。 具体的には、フルアライメントがランク1のグラム行列に対応するという理論的な洞察に基づいて、PMRLは表現行列の優越的な特異値を最適化し、共有の先頭方向に沿ってモジュラリティをアライメントする。 本稿では,最大特異値の優先順位を決定するために,特異値をロジットとして扱うソフトマックスに基づく損失関数を提案する。 さらに、先頭の固有ベクトルのインスタンス単位のコントラスト正規化は、インスタンス間分離性を維持し、表現の崩壊を防ぐ。 多様なタスクにわたる大規模な実験は、PMRLがベースライン法よりも優れていることを示す。 ソースコードは公開されます。

関連論文リスト

• Continual Multimodal Contrastive Learning [70.60542106731813]
  マルチモーダル・コントラッシブ・ラーニング(MCL)は、異なるモーダルを整列させ、関節空間で多モーダル表現を生成する。 マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。 本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。 理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
  論文  参考訳（メタデータ） (2025-03-19T07:57:08Z)
• DecAlign: Hierarchical Cross-Modal Alignment for Decoupled Multimodal Representation Learning [7.947217265041953]
  マルチモーダル表現学習は、複数のモーダルをまたいだ共有情報と相補的セマンティック情報の両方をキャプチャすることを目的としている。 マルチモーダル表現をモダリティ・ユニク(異種)とモダリティ・コモン(異種)に分離するために設計された,新しい階層的クロスモーダルアライメントフレームワークであるDecAlignを紹介する。 広く使われている4つのマルチモーダルベンチマーク実験により、DecAlignは既存の最先端手法を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2025-03-14T21:47:48Z)
• Deep Reversible Consistency Learning for Cross-modal Retrieval [12.174193446177778]
  クロスモーダル検索(CMR)は通常、マルチモーダルサンプル間の類似性を直接測定するために共通の表現を学習する。 既存のCMR法の多くは、ペアでマルチモーダルサンプルを仮定し、共通表現を学ぶために共同トレーニングを採用している。 クロスモーダル検索のためのDeep Reversible Consistency Learning (DRCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-10T03:35:22Z)
• Asymmetric Reinforcing against Multi-modal Representation Bias [59.685072206359855]
  マルチモーダル表現バイアス(ARM)に対する非対称強化法を提案する。 我々のARMは、条件付き相互情報を通じて支配的なモダリティを表現する能力を維持しながら、弱いモダリティを動的に強化する。 我々はマルチモーダル学習の性能を著しく改善し、不均衡なマルチモーダル学習の軽減に顕著な進展をもたらした。
  論文  参考訳（メタデータ） (2025-01-02T13:00:06Z)
• Enhancing Unimodal Latent Representations in Multimodal VAEs through Iterative Amortized Inference [20.761803725098005]
  マルチモーダル変分オートエンコーダ(VAE)は、異なるデータモダリティからの情報を統合することで、共有潜在表現をキャプチャすることを目的としている。 重要な課題は、あらゆる可能なモダリティの組み合わせに対して、非現実的な数の推論ネットワークを訓練することなく、任意のモダリティのサブセットから正確に表現を推論することである。 本稿では,マルチモーダルVAEフレームワーク内での反復的改善機構であるマルチモーダル反復補正推論を導入する。
  論文  参考訳（メタデータ） (2024-10-15T08:49:38Z)
• Enhancing Multimodal Unified Representations for Cross Modal Generalization [52.16653133604068]
  我々は、コードブック(TOC)のトレーニング不要最適化と、FCID(Fin and Coarse Cross-modal Information Disentangling)を提案する。 これらの方法は、各モードの特定の特性に合わせて、事前学習から統一された離散表現を洗練し、きめ細かな情報と粗い情報の絡み合わせを行う。
  論文  参考訳（メタデータ） (2024-03-08T09:16:47Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。