Fugu-MT 論文翻訳(概要): Towards Uniformity and Alignment for Multimodal Representation Learning

論文の概要: Towards Uniformity and Alignment for Multimodal Representation Learning

arxiv url: http://arxiv.org/abs/2602.09507v1
Date: Tue, 10 Feb 2026 08:08:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-11 20:17:43.439495
Title: Towards Uniformity and Alignment for Multimodal Representation Learning
Title（参考訳）: マルチモーダル表現学習のための一様性とアライメントを目指して
Authors: Wenzhe Yin, Pan Zhou, Zehao Xiao, Jie Liu, Shujian Yu, Jan-Jakob Sonke, Efstratios Gavves,
Abstract要約: マルチモーダル体制における2つの対立は、モダリティの数が増えるにつれて悪化する。マルチモーダル表現に対するアライメントと均一性の原理的分離を提案する。次に,本手法が複数モード分布上の大域的Hlder分散の効率的なプロキシとして機能することを理論的に保証する。
参考スコア（独自算出の注目度）: 66.87764574237532
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Multimodal representation learning aims to construct a shared embedding space in which heterogeneous modalities are semantically aligned. Despite strong empirical results, InfoNCE-based objectives introduce inherent conflicts that yield distribution gaps across modalities. In this work, we identify two conflicts in the multimodal regime, both exacerbated as the number of modalities increases: (i) an alignment-uniformity conflict, whereby the repulsion of uniformity undermines pairwise alignment, and (ii) an intra-alignment conflict, where aligning multiple modalities induces competing alignment directions. To address these issues, we propose a principled decoupling of alignment and uniformity for multimodal representations, providing a conflict-free recipe for multimodal learning that simultaneously supports discriminative and generative use cases without task-specific modules. We then provide a theoretical guarantee that our method acts as an efficient proxy for a global Hölder divergence over multiple modality distributions, and thus reduces the distribution gap among modalities. Extensive experiments on retrieval and UnCLIP-style generation demonstrate consistent gains.
Abstract（参考訳）: マルチモーダル表現学習は、異質なモダリティが意味的に整合した共有埋め込み空間を構築することを目的としている。 InfoNCEをベースとした目的は、強い経験的結果にもかかわらず、モダリティ間の分散ギャップをもたらす固有の矛盾を導入している。この研究では、モダリティの数が増えるにつれてさらに悪化するマルチモーダル体制における2つの対立を識別する。一整合・整合の対立で、一律の反発が一対の整合を損なうこと。 (i)複数のモードの整列が競合するアライメント方向を誘導するアライメント内衝突。これらの課題に対処するために,タスク固有のモジュールを使わずに識別的および生成的ユースケースを同時にサポートするマルチモーダル学習のためのコンフリクトフリーレシピを提供する,多モーダル表現のアライメントと統一性の原則的分離を提案する。次に,本手法が多重モード分布上の大域的ヘルダー発散の効率的なプロキシとして機能し,モダリティ間の分布ギャップを小さくする理論的保証を与える。検索とUnCLIPスタイルの生成に関する大規模な実験は、一貫した利得を示している。

関連論文リスト

From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
論文参考訳（メタデータ） (2026-01-28T09:29:40Z)
DCG ReID: Disentangling Collaboration and Guidance Fusion Representations for Multi-modal Vehicle Re-Identification [26.52384456327148]
マルチモーダル車両リID(DCG-ReID)におけるディスタングル協調と誘導融合表現を提案する。具体的には、相互干渉を伴わない不均一な品質分散モーダルデータを切り離すために、まず動的信頼に基づくDCDW(Disentangling Weighting)機構を設計する。筆者らは,(1)品質分布の均衡化,(CFM)コラボレーション・フュージョン・モジュール(CFM)が共有識別情報の収集とクラス内整合性向上のために相互にコンセンサス特性をマイニングすること,(2)不均衡分布の調整,(GFM)誘導融合モジュール(GFM)が支配的モダリティの強化のために偏差増幅を実装していること,の2つのシナリオ特異的融合戦略を開発した。
論文参考訳（メタデータ） (2026-01-06T11:09:19Z)
Dual-Stream Cross-Modal Representation Learning via Residual Semantic Decorrelation [5.272868130772015]
クロスモーダル表現は、しばしばモダリティ支配、冗長な情報結合、急激なクロスモーダル相関に悩まされる。本稿では,Dual-Stream Residual Semantic Deorrelation Network (DSRSD-Net)を提案する。
論文参考訳（メタデータ） (2025-12-08T14:01:16Z)
UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
論文参考訳（メタデータ） (2025-09-28T09:11:30Z)
Principled Multimodal Representation Learning [99.53621521696051]
マルチモーダル表現学習は、多様なデータモダリティを統合することにより、統一された表現空間を作ろうとする。最近の進歩は、複数のモードの同時アライメントを調査しているが、いくつかの課題が残っている。複数モーダルの同時アライメントを実現する新しいフレームワークであるPMRL(Principled Multimodal Representation Learning)を提案する。
論文参考訳（メタデータ） (2025-07-23T09:12:25Z)
Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
論文参考訳（メタデータ） (2025-05-09T11:42:31Z)
DecAlign: Hierarchical Cross-Modal Alignment for Decoupled Multimodal Representation Learning [18.066105354135058]
マルチモーダル表現学習は、複数のモーダルをまたいだ共有情報と相補的セマンティック情報の両方をキャプチャすることを目的としている。マルチモーダル表現をモダリティ・ユニク(異種)とモダリティ・コモン(異種)に分離するために設計された,新しい階層的クロスモーダルアライメントフレームワークであるDecAlignを紹介する。広く使われている4つのマルチモーダルベンチマーク実験により、DecAlignは既存の最先端手法を一貫して上回っていることが示された。
論文参考訳（メタデータ） (2025-03-14T21:47:48Z)
Distributional Vision-Language Alignment by Cauchy-Schwarz Divergence [83.15764564701706]
本稿では、コーシーシュワルツの発散を相互情報と統合して視覚言語アライメントを行う新しいフレームワークを提案する。 CS分散はInfoNCEのアライメント・ユニフォーム性競合にシームレスに対処し,InfoNCEと補完的な役割を担っていることがわかった。テキスト・画像生成およびモダリティ横断検索タスクの実験により,本手法が視覚言語アライメントに与える影響を実証した。
論文参考訳（メタデータ） (2025-02-24T10:29:15Z)
Mutual Information-based Representations Disentanglement for Unaligned Multimodal Language Sequences [25.73415065546444]
不整合多モーダル言語列の鍵となる課題は、様々なモーダルからの情報を統合して洗練された多モーダル関節表現を得ることである。非整合多モーダル言語系列に対する相互情報に基づく表現不整合(MIRD)手法を提案する。
論文参考訳（メタデータ） (2024-09-19T02:12:26Z)
Set-CLIP: Exploring Aligned Semantic From Low-Alignment Multimodal Data Through A Distribution View [35.389116270077324]
マルチモーダル融合は様々なモダリティの境界を突破し、既に顕著な性能を達成している。多くの専門分野において、トレーニングに十分なアライメントデータを得るのに苦労している。本稿では,CLIPに基づく新しい手法であるSet-CLIPを提案する。
論文参考訳（メタデータ） (2024-06-09T12:41:14Z)
Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。不均一な問題に対しては、無関係な公開データを通信に活用する。局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文参考訳（メタデータ） (2023-09-28T09:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。