Fugu-MT 論文翻訳(概要): UOT-Gap: A Variational Principle for the Modality Gap in Vision-Language Models via Unbalanced Optimal Transport

論文の概要: UOT-Gap: A Variational Principle for the Modality Gap in Vision-Language Models via Unbalanced Optimal Transport

arxiv url: http://arxiv.org/abs/2609.10224v1
Date: Wed, 09 Sep 2026 14:23:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:09.047977
Title: UOT-Gap: A Variational Principle for the Modality Gap in Vision-Language Models via Unbalanced Optimal Transport
Title（参考訳）: UOT-Gap:不均衡最適輸送による視覚言語モデルにおけるモダリティギャップの変分原理
Abstract要約: UOT-Gapは、凍結画像とテキスト埋め込みを不均衡な最適輸送(UOT)でモデル化する訓練不要な変分診断法である。凍ったCLIP、OpenCLIP、SigLIPエンコーダを持つFlickr8KおよびCOCO-1Kでは、キャプション劣化によりRecall@1が0.559から0.003に減少する。これらの結果から, UOT-Gapはキャプション品質, モダリティアライメント, 検索ロバストネスの診断法として確立された。
参考スコア（独自算出の注目度）: 3.8167107540819245
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vision-language models such as CLIP embed images and text in a shared space, where modality-specific distributions often remain separated. Existing accounts connect this modality gap to initialization, contrastive dynamics, and information imbalance, while its distributional and pairwise contributions to retrieval remain unresolved. We introduce UOT-Gap, a training-free variational diagnostic that models frozen image and text embeddings with unbalanced entropic optimal transport (UOT). The UOT optimum separates transport, coupling complexity, and marginal mass variation; a complementary pair-aware residual compares observed image-caption pairs with the UOT soft matching. On Flickr8K and COCO-1K with frozen CLIP, OpenCLIP, and SigLIP encoders, caption degradation reduces Flickr8K Recall@1 from 0.559 to 0.003. Across six dataset-model conditions, the pair-aware residual tracks retrieval degradation with mean absolute Spearman 0.973, compared with 0.392 for the mean gap. The association remains stable across five random COCO-1K subsets at $0.954\pm0.026$, with a minimum of 0.943. UOT barycentric updates reduce the transport objective while degrading retrieval, distinguishing geometric objective descent from task improvement. These results establish UOT-Gap as a diagnostic for caption quality, modality alignment, and retrieval robustness.
Abstract（参考訳）: CLIPのような視覚言語モデルは画像とテキストを共有空間に埋め込む。既存のアカウントは、このモダリティギャップを初期化、コントラスト力学、情報不均衡に結び付けているが、その分布とペアによる検索への貢献は未解決のままである。 UOT-Gapは、凍結画像とテキスト埋め込みを非平衡エントロピー最適輸送(UOT)でモデル化する訓練不要な変分診断法である。 UOT最適化は、輸送、結合複雑性、限界質量変動を分離し、補完的なペア認識残差は、観測された撮像対とUTTソフトマッチングを比較する。凍ったCLIP、OpenCLIP、SigLIPエンコーダを持つFlickr8KとCOCO-1Kでは、キャプションの劣化によりFlickr8K Recall@1は0.559から0.003に減少する。 6つのデータセットモデル条件で, 平均絶対値であるスピアマン0.973と平均値の0.392に対して, ペア認識残差トラックの劣化が認められた。このアソシエーションは、5つのランダムCOCO-1Kサブセットに対して0.954\pm0.026$で安定であり、最小でも0.943である。 UOT Barycentric updateは、検索を劣化させながら輸送目的を減少させ、幾何学的目的とタスク改善を区別する。これらの結果から, UOT-Gapはキャプション品質, モダリティアライメント, 検索ロバストネスの診断法として確立された。

関連論文リスト

Balancing Emotional Alignment and Semantic Consistency in Image Generation via Reinforcement Learning with Valence-Arousal Anchoring [55.57242007016976]
テキスト・ツー・イメージ生成における継続的な感情制御は、プロンプトによって記述されたオブジェクトやレイアウト、シーンを変更することなく、感情的アライメントを改善するモデルを必要とする。既存の教師付き感情注入法は、しばしば特徴空間プロキシを最適化し、したがって感情のセマンティックドリフトを示す。本稿では,連続的原子価覚醒条件設定,グループ相対ポリシー最適化,中立的セマンティックアンカーを組み合わせたフローマッチング画像生成フレームワークを用いてこの問題に対処する。
論文参考訳（メタデータ） (2026-09-11T13:24:35Z)
Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models [0.0]
すべてのレイヤの離散コードとスケールに対する共同最適化として量子化を定式化する。 FP16教師に対して,誤差補償のみのパープレキシティ比が9.56+/-0.15に達することを示す。 Qwen2.5-1.5B で 1.125 ビットのグループバイナリの重みを持つ場合、誤差補償だけで FP16 の教師に対して 9.56 +/- 0.15 のパープレキシティ比に達する。
論文参考訳（メタデータ） (2026-07-16T06:47:52Z)
Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
論文参考訳（メタデータ） (2026-06-18T20:51:42Z)
Distortion-Aware Fusion of Statistical and Vision-Language Features for Blind Image Quality Assessment [3.4153424359998508]
138次元のNASディスクリプタと2つの相補的なVLM埋め込みを統合した歪み認識型融合フレームワークを提案する。 KADID-10kの歪み毎の解析により、SNSの特徴がノイズや色シフトの歪みに最も寄与していることが明らかになった。
論文参考訳（メタデータ） (2026-06-01T09:57:52Z)
Differential Attention-Augmented BiomedCLIP with Asymmetric Focal Optimization for Imbalanced Multi-Label Video Capsule Endoscopy Classification [1.2246649738388389]
本研究は,ビデオカプセル内視鏡(VCE)のためのマルチラベル分類フレームワークを提案する。アーキテクチャと最適化レベルの戦略を組み合わせることで、Galarデータセットに固有の極端なクラス不均衡に対処する。
論文参考訳（メタデータ） (2026-03-18T16:04:50Z)
A Heterogeneous Ensemble for Multi-Center COVID-19 Classification from Chest CT Scans [0.39998518782208775]
3つの推論パラダイムにまたがる9つのモデルの異種アンサンブルを示す。アンサンブルは4つの病院センターで平均0.9280のマクロF1を達成し、最高のシングルモデルを上回っている。
論文参考訳（メタデータ） (2026-03-15T21:34:59Z)
CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization [122.88484422855934]
本稿では,MeanFlowデコーダを備えた1次元因果画像トークンであるCaTokを紹介する。時間間隔でトークンを選択することで、CaTokは高速なワンステップ生成と高忠実なマルチステップサンプリングの両方をサポートする因果1D表現を学ぶ。実験により、CaTokはImageNet再構成の最先端の結果を達成し、0.75 FID、22.53 PSNR、0.674 SSIMに達した。
論文参考訳（メタデータ） (2026-03-06T16:39:17Z)
Enhancement Without Contrast: Stability-Aware Multicenter Machine Learning for Glioma MRI Imaging [2.5012408467295555]
機械学習(ML)を用いた非コントラストMRIからのコントラスト強調予測は、ガドリニウムベースのコントラストエージェント(GBCA)のより安全な代替手段を提供するグリオーマMRIコントラスト強調のマルチセンター予測のための再現可能なMLパイプラインを同定するための安定性を考慮したフレームワークを提案する。
論文参考訳（メタデータ） (2025-09-13T00:47:07Z)
Guided Score identity Distillation for Data-Free One-Step Text-to-Image Generation [62.30570286073223]
拡散に基づくテキスト・画像生成モデルは、テキスト記述と整合した画像を生成する能力を実証している。本研究では, 実データにアクセスすることなく, 事前学習した拡散モデルの効率的な蒸留を可能にする, データフリーガイド蒸留法を提案する。データフリー蒸留法は, 1ステップ生成装置で生成した合成画像のみをトレーニングすることにより, FIDとCLIPのスコアを急速に向上させ, 競争力のあるCLIPスコアを維持しつつ, 最先端のFID性能を実現する。
論文参考訳（メタデータ） (2024-06-03T17:44:11Z)
Adaptive Feature Selection for No-Reference Image Quality Assessment by Mitigating Semantic Noise Sensitivity [55.399230250413986]
上流タスクから有害なセマンティックノイズを除去するためのQFM-IQM(Quality-Aware Feature Matching IQA Metric)を提案する。提案手法は,8つの標準IQAデータセット上での最先端NR-IQA法よりも優れた性能を実現する。
論文参考訳（メタデータ） (2023-12-11T06:50:27Z)
Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
論文参考訳（メタデータ） (2023-10-01T05:07:17Z)
Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文参考訳（メタデータ） (2021-12-30T00:27:30Z)
Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文参考訳（メタデータ） (2021-05-16T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。