論文の概要: Shared Geometry As A Rosetta Stone: Cross-Modal Alignment Without Paired Data

• arxiv url: http://arxiv.org/abs/2610.09411v1
• Date: Wed, 07 Oct 2026 04:12:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.713124
• Title: Shared Geometry As A Rosetta Stone: Cross-Modal Alignment Without Paired Data
• Title（参考訳）: ロゼッタ石としての共有幾何: ペアデータなしのクロスモーダルアライメント
• Abstract要約: ペア化された例は、粗いクロスモーダルアライメントには不要であることを示す。 データセット、モダリティ、およびユニモーダルモデル全体で、ペアなしで独立的に訓練された表現を一貫性を持って調整できることが示される。
• 参考スコア（独自算出の注目度）: 68.82549843543866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal representations enable zero-shot classification and retrieval, but aligning independently trained models usually requires large amounts of paired data. Yet, the Platonic Representation Hypothesis suggests that models trained on different modalities may converge spontaneously toward a shared representation geometry. But then, do we even need paired examples for cross-modal alignment? Remarkably, we show that paired examples are unnecessary for coarse cross-modal alignment. Our simple Wasserstein Procrustes method with a coarse geometric initialization aligns two disjoint embedding sets by estimating a single orthogonal map without seeing any pairs. Across datasets, modalities, and unimodal models, we show that we can consistently align independently trained representations without pairs, and standard geometric alignment metrics accurately predict when this is possible. Nevertheless, we can naturally benefit from paired examples. In the very few-pair regime, our method substantially outperforms existing ones, while staying competitive with pair-based methods with more added examples. Finally, we demonstrate that the resulting alignments can enable text-to-image generation without paired examples. These results show that independently trained models often share enough geometry to establish cross-modal correspondence with little or no paired data.
• Abstract（参考訳）: マルチモーダル表現はゼロショットの分類と検索を可能にするが、独立に訓練されたモデルの整列は通常大量のペアデータを必要とする。 しかし、プラトン表現仮説(Platonic Representation hypothesis)は、異なるモジュラリティで訓練されたモデルは、共有表現幾何学(英語版)に向けて自然に収束する可能性があることを示唆している。 では、クロスモーダルアライメントにペアの例が必要なのでしょうか? 注目すべきことに、ペア化された例は、粗いクロスモーダルアライメントには不要である。 粗い幾何学的初期化を持つ我々の単純なワッサーシュタイン・プロクリスト法は、ペアを見ることなく1つの直交写像を推定することによって2つの非連結な埋め込み集合を整列させる。 データセット、モダリティ、ユニモーダルモデル全体にわたって、ペアなしで独立的に訓練された表現を一貫性を持って調整できることを示し、標準幾何アライメントメトリクスはそれがいつ可能か正確に予測する。 それでも、ペア化された例から自然に恩恵を受けることができます。 ごく少数のペア方式では,提案手法は既存の手法よりも大幅に優れており,ペア方式と競合する傾向にある。 最後に、結果のアライメントにより、ペアの例を使わずにテキストから画像を生成することができることを示す。 これらの結果は、独立に訓練されたモデルが、ほとんどあるいは全くペア化されていないデータとの相互対応を確立するのに十分な幾何を共有していることを示している。

関連論文リスト

• Displacement Geometry Captures Platonic Shared Reality Across Models and Modalities [14.806736448611021]
  モデルが共有しているものは、表現空間内のサンプルの位置ではなく、それら間の方向(変位ベクトル)を示す。 我々の理論は、微調整がポイントワイドな類似性を保っているが、変位を崩壊させると予測できる。 主な意味は、セマンティクスが線形に整列するが機能しないため、あるモデルから別のモデルへ機能をインポートできるということである。
  論文  参考訳（メタデータ） (2026-09-21T07:28:24Z)
• Learning Relative Representations for Fine-Grained Multimodal Alignment with Limited Data [0.5156484100374059]
  本稿では,相対表現を用いてトークンレベルのクロスモーダル構造を学習するポストホックアライメント手法を提案する。 提案手法は, ゼロショット分類, クロスモーダル検索, ゼロショットセグメンテーションにおいて, 既存の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2026-05-16T06:33:38Z)
• Anisotropic Modality Align [91.23979617826926]
  マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。 近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。 中心となる障害は、共有空間の永続的なモダリティギャップにある。
  論文  参考訳（メタデータ） (2026-05-08T14:53:24Z)
• Generalizing the Geometry of Model Merging Through Frechet Averages [13.893485499000219]
  我々は、幾何学だけでなく平均化手順自体も対称性が不変であることを示し、対称性を意識したマージを実現する。 一般解として、フレシェ平均化として結合し、適切な多様体上の測地距離の和を最小化するパラメータを選択する。
  論文  参考訳（メタデータ） (2026-04-29T20:02:08Z)
• SOTAlign: Semi-Supervised Alignment of Unimodal Vision and Language Models via Optimal Transport [43.640561199880274]
  プラトン表現仮説(英: Platonic Representation hypothesis)は、ニューラルネットワークが世界の共有統計モデルに向かって収束するという仮説である。 最近の研究は、凍結した事前学習された視覚と言語モデルを軽量なアライメント層に整列させることによって、この収束を利用する。 我々は、極めて少ない監督で有意義なアライメントが達成できるかどうか尋ねる。 事前訓練された単調エンコーダを少数の画像テキストペアと大量の未ペアデータを用いてアライメントする半教師付き設定を導入する。
  論文  参考訳（メタデータ） (2026-02-26T18:55:06Z)
• Better Together: Leveraging Unpaired Multimodal Data for Stronger Unimodal Models [63.032359320629105]
  In this present: Unpaired Multimodal, a modality-agnostic training paradigm, a single model then alternately processs from different modalities while sharing parameters across。 補助モダリティからの未ペアリングデータを使用することで、画像や音声などの様々な単一目標に対して、ダウンストリーム性能が一貫して向上することを示す。
  論文  参考訳（メタデータ） (2025-10-09T17:32:23Z)
• Model Alignment Search [0.0]
  本稿では,ニューラルネットワーク間で双方向に神経活動を伝達し,その動作を機能的類似性の尺度として利用する手法を提案する。 本研究では,この手法を用いて,ある凍結ニューラルネットワーク(NN)の動作を,モデル縫合と同様の方法で他のニューラルネットワークへ転送する方法を示す。 本稿では,因果情報の特定のサブタイプを調べるために,本手法が有効であることを示す数値関連タスクのケーススタディを提案する。
  論文  参考訳（メタデータ） (2025-01-10T18:39:29Z)
• BiCro: Noisy Correspondence Rectification for Multi-modality Data via Bi-directional Cross-modal Similarity Consistency [66.8685113725007]
  BiCroは、ノイズの多いデータペアのソフトラベルを推定して、その真の対応度を反映することを目的としている。 3つの一般的なクロスモーダルマッチングデータセットの実験により、BiCroは様々なマッチングモデルのノイズ・ロバスト性を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-03-22T09:33:50Z)
• G-MSM: Unsupervised Multi-Shape Matching with Graph-based Affinity Priors [52.646396621449]
  G-MSMは、非剛体形状対応のための新しい教師なし学習手法である。 学習形態の集合に親和性グラフを自己教師型で構築する。 近年の形状対応ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-12-06T12:09:24Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。