論文の概要: Multimodal Alignment Through Joint Kernel Entropic Gromov--Wasserstein Optimal Transport
- arxiv url: http://arxiv.org/abs/2608.04234v1
- Date: Tue, 04 Aug 2026 21:21:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.643258
- Title: Multimodal Alignment Through Joint Kernel Entropic Gromov--Wasserstein Optimal Transport
- Title（参考訳）: カーネルエントロピーグロモフ-ワッサーシュタイン最適輸送による多モードアライメント
- Abstract要約: 構造保存型アライメントフレームワーク,ジョイントカーネルエントロピーGromov--Wasserstein Optimal Transport(JK-EGW)を提案する。
JK-EGW は2次最適輸送目標を最小化することにより、複数のモダリティを共通の潜在空間にマッピングする。
提案手法は,既存のアライメントベースラインと比較して,マルチモーダル検索性能の向上を実現する。
- 参考スコア（独自算出の注目度）: 4.633342231489067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of aligning data from multiple modalities into a shared representation space, focusing on settings where strong pretrained unimodal encoders are available but cross-modal paired data are scarce. We propose a structure-preserving alignment framework, joint kernel entropic Gromov--Wasserstein Optimal Transport (JK-EGW), which maps multiple modalities into a common latent space by minimizing a quadratic optimal transport objective. JK-EGW leverages fine-grained similarity relationships within and across modalities to construct a global affinity kernel instead of relying on raw feature-space distances. Our framework naturally provides explicit control over the geometry and distribution of the latent embedding. On the theory side, we establish parametric sample complexity rate of $n^{-1/2}$, matching the corresponding rates for standard, entropic and Gromov--Wasserstein optimal transport. On the algorithmic side, we derive a scalable alternating procedure to solve JK-EGW with entropic optimal transport (EOT) updates through a low-rank kernel approximation and a variational lifting. This lifting scheme effectively relieves the burden of a quadratic objective, and allowing us to take the advantage of existing EOT solvers. Empirically, we focus on post-hoc alignment of embeddings from pretrained encoders in data-scarce regimes, and show that our proposed method achieves improved multimodal retrieval performance compared to existing alignment baselines.
- Abstract（参考訳）: 本研究では,複数モーダルからのデータを共有表現空間に整列する問題について考察する。
本稿では,2次最適輸送目標を最小化することにより,複数のモードを共通潜在空間にマッピングする構造保存アライメントフレームワーク,Gromov--Wasserstein Optimal Transport (JK-EGW)を提案する。
JK-EGWは、モジュール間の微粒な類似性関係を利用して、生の特徴空間距離に頼るのではなく、グローバルな親和性カーネルを構築する。
我々のフレームワークは自然に潜伏埋め込みの幾何学と分布を明示的に制御する。
理論面では、標準、エントロピー、グロモフ-ワッサーシュタイン最適輸送の対応する速度と一致するパラメトリックサンプルの複雑さ率を$n^{-1/2}$とする。
アルゴリズム側では、低ランクカーネル近似と変分リフトにより、エントロピー最適化トランスポート(EOT)更新によりJK-EGWを解くスケーラブルな交互処理を導出する。
このリフト方式により、2次目標の重荷を効果的に軽減し、既存のEOTソルバの利点を生かすことができる。
本研究では,データスカース方式における事前学習エンコーダからの埋め込みのポストホックアライメントに着目し,既存のアライメントベースラインと比較してマルチモーダル検索性能の向上を実現していることを示す。
関連論文リスト
- Coupled Optimal Transport with Landmark Constraints [64.98367856457412]
最適輸送(OT)モデルは、所定の輸送コストや歪みを最小限に抑えて、分布間の地図や計画を求める。
本稿では,少数のアノテートされたランドマークを利用して,下層の変形の回復を誘導する新しい結合OTフレームワークを提案する。
提案するフレームワークは,ランドマークベース登録とトランスポートベース分布マッチングの原則的接続を提供する。
論文 参考訳（メタデータ） (2026-08-20T08:28:13Z) - ITSPACE: Monotone Gaussian Optimal Transport Updates [0.04687712818521871]
共分散行列は、ドメイン適応やガウス埋め込みを含む多くの機械学習パイプラインにおける特徴分布のコンパクト記述子として機能する。
平方根分解における閉形式更新により,この正確なBW目標を直接最適化する最大化最小化手法であるITSPACEを提案する。
厳密な算術では、それぞれがBW目標に対する十分な減少不等式を満たすが、不正確な極性計算では、正確な降下から逸脱を制御する明示的な証明ギャップ境界が提供される。
論文 参考訳（メタデータ） (2026-06-29T16:29:19Z) - Variational Entropic Optimal Transport [67.76725267984578]
本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。
VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。
合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
論文 参考訳（メタデータ） (2026-02-02T15:48:44Z) - Optimal Transportation and Alignment Between Gaussian Measures [80.4634530260329]
最適なトランスポート(OT)とGromov-Wasserstein(GW)アライメントは、データセットの解釈可能な幾何学的フレームワークを提供する。
これらのフレームワークは計算コストが高いため、大規模アプリケーションは2次コストでガウス分布の閉形式解に依存することが多い。
この研究は、ガウス的、二次的コスト OT と内部積 GW (IGW) のアライメントを包括的に扱い、文学におけるいくつかのギャップを埋めて適用性を広げる。
論文 参考訳（メタデータ） (2025-12-03T09:01:48Z) - Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces [13.38402522324075]
本稿では、生成モデルとガウス過程(GP)を個別にシュロゲートし、単純だが原理化されたベイズ更新規則を介してそれらを結合する分離されたアプローチを提案する。
我々は, 分子最適化問題における高ポテンシャル候補を制約評価予算下で同定する能力を, 分離した手法により向上することを示した。
論文 参考訳（メタデータ） (2025-07-05T05:53:04Z) - Optimal Transport Adapter Tuning for Bridging Modality Gaps in Few-Shot Remote Sensing Scene Classification [80.83325513157637]
Few-Shot Remote Sensing Scene Classification (FS-RSSC)は,限られたラベル付きサンプルを用いたリモートセンシング画像の分類の課題を示す。
理想的なプラトン表現空間を構築することを目的とした,OTAT(Optimal Transport Adapter Tuning)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T07:04:24Z) - Joint Optimal Transport and Embedding for Network Alignment [66.49765320358361]
本稿では,JOENA というネットワークアライメントのための統合最適トランスポートおよび埋め込みフレームワークを提案する。
統一された目的により、両手法の相互利益は、コンバージェンスを保証する最適化スキーマの交互化によって達成できる。
実世界のネットワークの実験はJOENAの有効性とスケーラビリティを検証し、最大16%の改善と20倍の高速化を実現した。
論文 参考訳（メタデータ） (2025-02-26T17:28:08Z) - Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps [4.471962177124311]
分散機械学習では、異なるデータを持つ複数のエージェントにまたがる線形変数が大きな課題となる。
本稿では,原変数上のラグランジアン収束を実現するフレームワークは,エージェント間通信を必要としないことを示す。
論文 参考訳（メタデータ） (2024-07-02T22:14:54Z) - Submodular Framework for Structured-Sparse Optimal Transport [7.030105924295838]
非平衡最適輸送(UOT)は、非正規化対策の柔軟な枠組みとロバスト性により、近年注目を集めている。
本研究では,UOT設定における疎輸送計画の学習(構造化)について検討する。
本稿では,最近検討された平均誤差に基づく UOT を用いた新しい空間制約付き UOT の定式化を提案する。
論文 参考訳（メタデータ） (2024-06-07T13:11:04Z) - Energy-Guided Continuous Entropic Barycenter Estimation for General Costs [95.33926437521046]
任意のOTコスト関数に対して連続的エントロピーOT(EOT)バリセンタを近似する新しいアルゴリズムを提案する。
本手法は、弱いOTに基づくEOT問題の二重再構成に基づいている。
論文 参考訳（メタデータ） (2023-10-02T11:24:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。