論文の概要: Test-Time Consistency in Vision Language Models

• arxiv url: http://arxiv.org/abs/2506.22395v1
• Date: Fri, 27 Jun 2025 17:09:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.303248
• Title: Test-Time Consistency in Vision Language Models
• Title（参考訳）: 視覚言語モデルにおけるテスト時間一貫性
• Authors: Shih-Han Chou, Shivam Chandhok, James J. Little, Leonid Sigal,
• Abstract要約: VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 MM-R3のような最近のベンチマークでは、最先端のVLMでさえ意味論的に等価な入力にまたがって分岐予測をもたらすことが強調されている。 教師付き再学習なしにセマンティックな一貫性を高める,シンプルで効果的なテスト時間一貫性フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.475993408532304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) have achieved impressive performance across a wide range of multimodal tasks, yet they often exhibit inconsistent behavior when faced with semantically equivalent inputs, undermining their reliability and robustness. Recent benchmarks, such as MM-R3, highlight that even state-of-the-art VLMs can produce divergent predictions across semantically equivalent inputs, despite maintaining high average accuracy. Prior work addresses this issue by modifying model architectures or conducting large-scale fine-tuning on curated datasets. In contrast, we propose a simple and effective test-time consistency framework that enhances semantic consistency without supervised re-training. Our method is entirely post-hoc, model-agnostic, and applicable to any VLM with access to its weights. Given a single test point, we enforce consistent predictions via two complementary objectives: (i) a Cross-Entropy Agreement Loss that aligns predictive distributions across semantically equivalent inputs, and (ii) a Pseudo-Label Consistency Loss that draws outputs toward a self-averaged consensus. Our method is plug-and-play and leverages information from a single test input itself to improve consistency. Experiments on the MM-R3 benchmark show that our framework yields substantial gains in consistency across state-of-the-art models, establishing a new direction for inference-time adaptation in multimodal learning.
• Abstract（参考訳）: VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて印象的なパフォーマンスを実現しているが、意味論的に等価な入力に直面した場合、その信頼性と堅牢性を損なう不整合性を示すことが多い。 MM-R3のような最近のベンチマークでは、最先端のVLMでさえ、高い平均精度を維持しながら意味論的に等価な入力をまたいだ分岐予測が可能であることが強調されている。 以前の作業では、モデルアーキテクチャの変更や、キュレートされたデータセットの大規模な微調整によってこの問題に対処していた。 これとは対照的に,教師付き再学習を伴わずにセマンティックな一貫性を高める,シンプルで効果的なテスト時間一貫性フレームワークを提案する。 本手法は完全にポストホックでモデル非依存であり,重みにアクセスできる任意のVLMに適用可能である。 1つのテストポイントが与えられたら、2つの補完的な目的を通じて一貫した予測を実行します。 一 意味論的に等価な入力にまたがる予測分布を整合させるクロスエントロピー協定損失 (ii)自己平均的なコンセンサスに向けてアウトプットを引き出す擬似ラベル一貫性損失。 本手法はプラグアンドプレイであり,単一テストインプットからの情報を活用して整合性を向上させる。 MM-R3ベンチマークの実験から,我々のフレームワークは最先端モデル間での一貫性を著しく向上させ,マルチモーダル学習における推論時間適応のための新たな方向性を確立した。

関連論文リスト

• Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions [8.069858557211132]
  大きな言語モデル(LLM)は、様々なタスクにまたがって顕著な機能を示している。 ハイテイクなドメインへのデプロイメントには、複数ラウンドにわたるユーザインタラクションの一貫性と一貫性を備えた動作が必要です。 本稿では,LLM応答整合性の評価と改善のための総合的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-28T11:49:56Z)
• MM-R$^3$: On (In-)Consistency of Vision-Language Models (VLMs) [26.475993408532304]
  本稿では,3つのタスク(質問文の表現,画像の復元,コンテキスト推論)に基づいて,SoTA視覚言語モデルの性能を解析する。 我々の分析では、一貫性が必ずしも精度と一致していないことを示し、高い精度のモデルが必ずしも一致しているとは限らないことを示し、その逆も示している。 本稿では,命令間の不整合を最小限に抑えるために訓練されたアダプタモジュールの形式で,シンプルながら効果的な緩和戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-07T06:36:55Z)
• TS-HTFA: Advancing Time Series Forecasting via Hierarchical Text-Free Alignment with Large Language Models [14.411646409316624]
  時系列予測の新しい手法である textbfHierarchical textbfText-textbfFree textbfAlignment (textbfTS-HTFA) を導入する。 我々は、QR分解語埋め込みと学習可能なプロンプトに基づいて、ペア化されたテキストデータを適応的な仮想テキストに置き換える。 複数の時系列ベンチマークの実験は、HTFAが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-09-23T12:57:24Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching [77.133400999703]
  相関に基づくステレオマッチングは優れた性能を達成した。 固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。 本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:47:37Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation [104.48766162008815]
  本稿では,3次元セマンティックセグメンテーションのためのテスト時間適応のマルチモーダル拡張を提案する。 マルチモダリティを最大限に活用できるフレームワークを設計するために、各モダリティは他のモダリティに対して正規化された自己監督信号を提供する。 正規化された擬似ラベルは、多数の多モードテスト時間適応シナリオにおいて安定した自己学習信号を生成する。
  論文  参考訳（メタデータ） (2022-04-27T02:28:12Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。