論文の概要: Closing the Modality Gap via Simplex-Constrained Representations

• arxiv url: http://arxiv.org/abs/2610.32890v1
• Date: Fri, 23 Oct 2026 16:57:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.615315
• Title: Closing the Modality Gap via Simplex-Constrained Representations
• Title（参考訳）: Simplex-Constrained Representations によるモダリティギャップの閉鎖
• Abstract要約: 埋め込み領域を単位球面から確率単純集合へ$Sd-1$に変更することを提案する。 両方の次元は同じ固有幾何を共有しているが、単純体は構造的先行体として機能し、その非負の単位質量制約は、両方のモダリティを同じ座標系に接させるクロスモーダルキャリブレーションとして機能する。
• 参考スコア（独自算出の注目度）: 47.173738927528234
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While multimodal contrastive models like CLIP and CLAP successfully learn shared representations, their embeddings typically exhibit a persistent \emph{modality gap}. We propose addressing this separation through a purely geometric approach: changing the embedding domain from the unit sphere, $S^{d-1}$, to the probability simplex, $Δ^{d-1}$. Although both manifolds share the same intrinsic dimension, the simplex acts as a structural prior; its nonnegative, unit-mass constraints serve as a cross-modal calibration that forces both modalities to ground themselves in the same coordinate system. By attaching lightweight softmax adapters and using Total Variation similarity, we reduce the centroid $\ell_2$ gap by 97--99\% across five multimodal retrieval benchmarks. This confirms that simplicial geometry induces genuine semantic alignment, matching or exceeding the retrieval performance of standard unconstrained models.
• Abstract（参考訳）: CLIPやCLAPのようなマルチモーダルコントラストモデルは共有表現をうまく学習するが、それらの埋め込みは通常、持続的な \emph{modality gap} を示す。 我々は、この分離を純粋に幾何学的なアプローチで解決することを提案する: 埋め込み領域を単位球面から確率単純体へ$S^{d-1}$に変更すること。 どちらの多様体も同じ内在次元を持つが、単純群は構造的先行として作用し、その非負の単位質量制約は、両方のモダリティを同じ座標系に接させることを強制するクロスモーダルキャリブレーションとして機能する。 軽量ソフトマックスアダプタを装着し、トータル変分類似性を用いることで、5つのマルチモーダル検索ベンチマークでセントロイド$\ell_2$ギャップを97-99\%削減する。 このことは、単純な幾何学が、標準制約のないモデルの検索性能に適合または超える真の意味的アライメントを誘導することを確認する。

関連論文リスト

• SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
  凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。 本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。 各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
  論文  参考訳（メタデータ） (2026-09-29T09:38:29Z)
• Scaling-Score Conformal Prediction for Multi-Target Regression [0.42970700836450476]
  マルチターゲット回帰は、複数の関連する出力を同時に予測するモデルを必要とする。 モデルに依存しないスケーリングスコアコンフォメーション法(コンポーネント単位の絶対残差のみを要求する)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T12:23:57Z)
• SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
  データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。 我々は悲観的な収束分析を避ける分析を提供する。 我々の成果は、既存の最先端の体制を改善した。
  論文  参考訳（メタデータ） (2026-06-14T14:11:07Z)
• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• FlatVPR: Plug-and-play Geo-linear Residual Adapter for Geometric Rectification of Foundation Model Feature Manifolds [0.7734726150561086]
  FlatVPR'は、視覚的位置認識における地図軽量性と位置決め精度のトレードオフを橋渡しする。 本手法は, 数学的に接地したプルバック平坦性損失を用いて, 多様体曲率を明示的に抑制する。 NCLTデータセットの実験では、アダプタの適用によってパフォーマンスが大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-06-01T05:56:59Z)
• Anisotropic Modality Align [91.23979617826926]
  マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。 近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。 中心となる障害は、共有空間の永続的なモダリティギャップにある。
  論文  参考訳（メタデータ） (2026-05-08T14:53:24Z)
• S-CFE: Simple Counterfactual Explanations [22.262567049579648]
  スパースデータに対する多様体対応の反実的説明を求める問題に対処する。 提案手法は,スパースかつ多様体に整列した反実的説明を効果的に生成する。
  論文  参考訳（メタデータ） (2024-10-21T07:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。