論文の概要: The Geometry of Compromise: Unlocking Generative Capabilities via Controllable Modality Alignment

• arxiv url: http://arxiv.org/abs/2604.00279v1
• Date: Tue, 31 Mar 2026 22:11:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.745144
• Title: The Geometry of Compromise: Unlocking Generative Capabilities via Controllable Modality Alignment
• Title（参考訳）: 妥協の幾何学:制御可能なモダリティアライメントによる生成能力を解き放つ
• Authors: Hongyuan Liu, Qinli Yang, Wen Li, Zhong Zhang, Jiaming Liu, Wei Han, Zhili Qin, Jinxia Guo, Junming Shao,
• Abstract要約: 視覚言語モデルは画像とテキストの共有埋め込み空間を学ぶが、それらの表現は幾何学的に分離されている。 このギャップは、キャプションや共同クラスタリングのような、モーダル間交換性を必要とするタスクを制限する。 本稿では,TPC-CMA (Three-Phase Curriculum for Cross-Modal Alignment)を提案する。
• 参考スコア（独自算出の注目度）: 24.22523653033535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) such as CLIP learn a shared embedding space for images and text, yet their representations remain geometrically separated, a phenomenon known as the modality gap. This gap limits tasks requiring cross-modal interchangeability, such as captioning and joint clustering. Existing post-processing approaches can partially improve cross-modal compatibility; however, we show through geometric analysis that they primarily reduce the global centroid offset while leaving the underlying distributional mismatch intact. We decompose the modality gap into a Centroid Gap and a Distribution Gap, and demonstrate that the Distribution Gap is the true predictor of cross-modal task quality ($R^2 = 0.986$), whereas the commonly used Raw Gap is misleading ($R^2 = 0.691$). Motivated by this observation, we propose TPC-CMA (Three-Phase Curriculum for Cross-Modal Alignment), a fine-tuning framework that explicitly reduces both components. The proposed CMA jointly mitigates centroid offsets and reshapes the distributional structure, while a three-phase curriculum with gradient-aware scheduling progressively introduces alignment during training to enable stable optimization. Experiments demonstrate that our method significantly improves cross-modal alignment. With $α_{\text{target}}{=}0.05$, the modality gap is reduced by 66.6\% with only 4.84\% accuracy drop. Under stronger alignment ($α_{\text{target}}{=}0.5$), the gap is reduced by 82.3\%, clustering ARI improves from 0.318 to 0.516, and captioning CIDEr increases by 57.1\% over the original model. Our code and pre-trained models will be made publicly available upon acceptance.
• Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は画像とテキストの共有埋め込み空間を学習するが、それらの表現は幾何学的に分離され、モダリティギャップと呼ばれる現象である。 このギャップは、キャプションや共同クラスタリングのような、モーダル間交換性を必要とするタスクを制限する。 既存のポストプロセッシング手法は, 部分的なクロスモーダル整合性を改善することができるが, 幾何解析により, 主に大域セントロイドオフセットを減少させ, 基礎となる分布ミスマッチを無傷で残すことを示す。 モダリティギャップを Centroid Gap と Distribution Gap に分解し、分散ギャップがクロスモーダルなタスク品質の真の予測因子であることを示す(R^2 = 0.986$)が、一般的なRaw Gap は誤解を招く(R^2 = 0.691$)。 そこで本研究では,TPC-CMA (Three-Phase Curriculum for Cross-Modal Alignment) を提案する。 提案したCMAは、セントロイドオフセットを緩和し、分布構造を再評価する一方、勾配を考慮したスケジューリングを伴う3段階のカリキュラムでは、トレーニング中にアライメントを段階的に導入し、安定した最適化を実現する。 実験により,本手法はクロスモーダルアライメントを著しく改善することが示された。 α_{\text{target}}{=}0.05$で、モダリティギャップは66.6\%減少し、精度は4.84\%しか低下しない。 強いアライメント(α_{\text{target}}{=}0.5$)の下で、ギャップは82.3\%減少し、クラスタリングのARIは0.318から0.516に改善され、キャプションのCIDErはオリジナルのモデルよりも57.1\%増加した。 私たちのコードと事前訓練されたモデルは、受け入れ次第公開されます。

関連論文リスト

• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models [84.78794648147608]
  永続的な幾何学的異常であるモダリティギャップが残っている。 このギャップを埋める以前のアプローチは、過度に単純化された等方的仮定によってほとんど制限されている。 固定フレームモダリティギャップ理論(英語版)を提案し、モダリティギャップを安定バイアスと異方性残差に分解する。 次に、トレーニング不要なモダリティアライメント戦略であるReAlignを紹介します。
  論文  参考訳（メタデータ） (2026-02-02T13:59:39Z)
• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• Cross-modal Full-mode Fine-grained Alignment for Text-to-Image Person Retrieval [54.90229711181207]
  TIPR (Text-to-Image Person Retrieval) は、与えられたテキストクエリに基づいて、最も関連性の高い人物画像を取得することを目的としている。 TIPRの鍵となる課題は、テキストと視覚のモダリティの効果的なアライメントを達成することである。 FMFA, クロスモーダルフルモーデファインファインファインファインアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-17T07:12:05Z)
• Near-Optimal Clustering in Mixture of Markov Chains [74.3828414695655]
  我々は、長さ$H$の軌跡を、大きさ$S$の有限状態空間上の未知のエルゴードマルコフ鎖の1つによって生成される、$T$ trajectories of length $H$の問題を研究する。 我々は、連鎖の遷移核間の重み付きKL分散によって支配されるクラスタリングエラー率に基づいて、インスタンス依存で高い確率の低い境界を導出する。 次に,新しい2段階クラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T05:10:40Z)
• Wasserstein-regularized Conformal Prediction under General Distribution Shift [21.29977879431466]
  等式予測は、i.d.仮定の下で真のターゲットの1-alpha$カバレッジが保証された予測セットを生成する。 本稿では、ワッサーシュタイン距離に基づくカバレッジギャップの上界を提案し、確率測度をプッシュフォワードで解析する。 本稿では,重要重み付けと正規化表現学習(WR-CP)に基づくアルゴリズム設計のための分離を利用して,有限サンプル誤差境界のワッサーシュタイン境界を低減する。
  論文  参考訳（メタデータ） (2025-01-23T07:29:44Z)
• Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP [22.076206386214565]
  コントラスト言語-画像事前学習は、ゼロショット分類とクロスモーダル視覚言語タスクにおいて顕著に改善されている。 幾何学的な観点から、CLIP埋め込み空間は明らかにモダリティギャップを持つ。 本稿では,AlignCLIPが組込みのクロスモーダルアライメントにおいて顕著な拡張を実現していることを示す。
  論文  参考訳（メタデータ） (2024-06-25T15:24:02Z)
• Improving Variational Autoencoders with Density Gap-based Regularization [16.770753948524167]
  変分オートエンコーダ(VAE)は、潜時表現学習と潜時指向生成のためのNLPにおける強力な非教師なし学習フレームワークの1つである。 実際には、ELBoの最適化は、全ての試料の後方分布を同じ分解された局所最適値、すなわち後崩壊またはKL消滅に収束させる。 本稿では, 階層化後分布と先行分布との確率的密度ギャップに基づく新しい正規化により, 両問題に対処する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2022-11-01T08:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。