論文の概要: From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model

• arxiv url: http://arxiv.org/abs/2608.18339v1
• Date: Tue, 18 Aug 2026 21:44:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.222584
• Title: From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model
• Title（参考訳）: 推論から適応へ:視覚言語モデルの統一された最適輸送視点
• Abstract要約: 視覚言語モデル (VLM) は, 実世界の分布変化に敏感でありながら, 目覚ましいゼロショット能力を示した。 本稿では、VLMの推論と適応の目的を橋渡しし、algnameと呼ばれる原則付きVLM TTA手法を提案する。 実験により,本手法の有効性と効率を実証し,最先端の手法を最大7%,最先端の手法を最大7%上回る結果を得た。
• 参考スコア（独自算出の注目度）: 81.67708143891319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) have demonstrated remarkable zero-shot capabilities yet remain sensitive to real-world distribution shifts during inference. Although significant efforts are devoted to adapting VLMs at test time, they rely heavily on noisy pseudo-labels predicted directly from raw embedding similarities during inference, which are unreliable under distribution shift and mislead the adaptation. To avoid noise amplification, existing works craft coarse-grained surrogate objectives during adaptation, which fail to explicitly model sample-level relationships across different modalities, creating objective mismatch with inference, thus leading to marginal performance improvement. In this work, we aim to bridge the detached objectives of inference and adaptation for VLMs, and propose a principled VLM TTA method called \algname. For VLM inference, we formulate the zero-shot image classification task as a cross-modal alignment problem encoded via a Wasserstein OT formulation, providing robust pseudo-labels at the sample-level to effectively adapt VLMs. For VLM adaptation, we adopt a soft-label InfoNCE loss to adapt VLMs based on the OT-induced pseudo-labels, leveraging fine-grained supervisions to explicitly model relationships of individual image-text pairs via contrastive learning, which empowers accurate inference at the same granularity. Moreover, we theoretically reveal that the InfoNCE loss can be neatly reformulated as a Wasserstein OT formulation, thereby unifying the objectives of the inference and adaptation of VLMs to achieve their mutual benefits. Extensive experiments demonstrate the effectiveness and efficiency of our methods, outperforming the best-performing methods by up to 7% with state-of-the-art efficiency.
• Abstract（参考訳）: 視覚言語モデル (VLM) は, 実世界の分布変化に敏感でありながら, 目覚ましいゼロショット能力を示した。 試験時のVLMの適応には多大な努力が注がれているが、それらは推論中に生の埋め込み類似性から直接予測されるノイズの多い擬似ラベルに大きく依存している。 ノイズ増幅を避けるため、既存の作業では、異なるモダリティをまたいだサンプルレベルの関係を明示的にモデル化することができず、推測と客観的なミスマッチを生じさせ、粗い粒度のサロゲート目的を適用中に実現している。 本稿では,VLMの推論と適応の目的を橋渡しすることを目的として,原則的VLM TTA法である \algnameを提案する。 VLM推論では、ゼロショット画像分類タスクをワッサーシュタインOTの定式化によって符号化されたクロスモーダルアライメント問題として定式化し、サンプルレベルで頑健な擬似ラベルを提供し、VLMを効果的に適応させる。 VLM 適応には、OT による擬似ラベルに基づく VLM の適応にソフトラベル InfoNCE の損失を導入し、よりきめ細かな監督を利用して、コントラスト学習による個々の画像テキストペアの関係を明示的にモデル化し、同じ粒度での正確な推論を可能にする。 さらに、理論上、InfoNCEの損失をWasserstein OTの定式化として適切に再構成できることを明らかにし、それによってVLMの推論と適応の目的を統一し、それらの相互利益を達成する。 提案手法の有効性と効率を実証し, 最先端の手法を7%, 最先端の手法よりも高い性能で評価した。

関連論文リスト

• Think Less, Act Early: Reinforced Latent Reasoning with Early Exit in Vision-Language-Action Models [3.4519796338615225]
  観測不能な潜伏変数の列として推論をモデル化する新しいVision-Language-Action(VLA)フレームワークを提案する。 本稿では,遅延状態生成を逐次決定プロセスとして扱う強化学習に基づくデノゲーション機構を提案する。 具体化決定ベンチマークの実験により、AVA-VLAは明示的なCoT法よりも6倍の速度アップを達成することが示された。
  論文  参考訳（メタデータ） (2026-06-13T04:16:18Z)
• Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
  ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。 ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。 我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
  論文  参考訳（メタデータ） (2026-03-24T07:54:19Z)
• Compression then Matching: An Efficient Pre-training Paradigm for Multimodal Embedding [53.18433310890516]
  視覚言語モデルは、伝達可能なセマンティック埋め込みを取得することでマルチモーダル表現学習を進める。 コントラスト学習のウォームアップ段階として機能する圧縮プレトレーニングフェーズであるCoMaを提案する。
  論文  参考訳（メタデータ） (2025-11-11T17:23:02Z)
• Group Relative Augmentation for Data Efficient Action Detection [11.169883977958454]
  アクション検出にVLM(Big Video-Language Models)を適応させるには、いくつかの例が課題となっている。 パラメータ係数チューニング(LoRA)と新たな学習可能な内部特徴拡張を組み合わせた効率的な適応戦略を提案する。 複雑なマルチラベル・マルチパーソン動作検出データセットに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2025-07-28T21:46:05Z)
• MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection [107.15164718585666]
  開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-07-31T09:23:57Z)
• Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning [79.38140606606126]
  強化学習(RL)を用いた視覚言語モデル(VLM)を微調整するアルゴリズムフレームワークを提案する。 我々のフレームワークはタスク記述を提供し、次にVLMにチェーン・オブ・シント(CoT)推論を生成するよう促す。 提案手法は,VLMエージェントの様々なタスクにおける意思決定能力を向上させる。
  論文  参考訳（メタデータ） (2024-05-16T17:50:19Z)
• Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
  事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。 我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-20T08:41:23Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。