論文の概要: PARC: A Quantitative Framework Uncovering the Symmetries within Vision Language Models

• arxiv url: http://arxiv.org/abs/2506.14808v1
• Date: Tue, 03 Jun 2025 19:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.693582
• Title: PARC: A Quantitative Framework Uncovering the Symmetries within Vision Language Models
• Title（参考訳）: PARC:ビジョン言語モデル内の対称性を明らかにする定量的フレームワーク
• Authors: Jenny Schmalfuss, Nadine Chang, Vibashan VS, Maying Shen, Andres Bruhn, Jose M. Alvarez,
• Abstract要約: 視覚言語モデル(VLM)は、ユーザーが作成したテキストプロンプトと視覚入力に応答する。 VLMがこの不安定性を様々なプロンプトに継承するかどうかを判断することが重要である。 本稿では, PARC (Prompt Analysis via Reliability and agnostic) について紹介する。
• 参考スコア（独自算出の注目度）: 17.522361689805724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision language models (VLMs) respond to user-crafted text prompts and visual inputs, and are applied to numerous real-world problems. VLMs integrate visual modalities with large language models (LLMs), which are well known to be prompt-sensitive. Hence, it is crucial to determine whether VLMs inherit this instability to varying prompts. We therefore investigate which prompt variations VLMs are most sensitive to and which VLMs are most agnostic to prompt variations. To this end, we introduce PARC (Prompt Analysis via Reliability and Calibration), a VLM prompt sensitivity analysis framework built on three pillars: (1) plausible prompt variations in both the language and vision domain, (2) a novel model reliability score with built-in guarantees, and (3) a calibration step that enables dataset- and prompt-spanning prompt variation analysis. Regarding prompt variations, PARC's evaluation shows that VLMs mirror LLM language prompt sensitivity in the vision domain, and most destructive variations change the expected answer. Regarding models, outstandingly robust VLMs among 22 evaluated models come from the InternVL2 family. We further find indications that prompt sensitivity is linked to training data. The code will be at https://github.com/NVlabs/PARC.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、ユーザによって作成されたテキストプロンプトや視覚入力に応答し、現実世界の多くの問題に適用される。 VLMは視覚的モダリティと大きな言語モデル(LLM)を統合する。 したがって、VLMがこの不安定性を様々なプロンプトに継承するかどうかを判断することが重要である。 そこで本研究では,VLMがどの変化に最も敏感か,どの変化に最も敏感かを検討する。 この目的のために,本研究では,(1)言語と視覚領域の相違が妥当であること,(2)ビルトイン保証付きモデル信頼性スコア,(3)データセットと迅速な相違分析を可能にするキャリブレーションの3つの柱上に構築されたVLMプロンプト感度分析フレームワークであるPARC(Prompt Analysis via Reliability and Calibration)を紹介する。 PARCの評価によれば、VLMは視覚領域の感度を反映し、最も破壊的な変化は期待する答えを変える。 モデルに関しては、評価された22モデルのうち、非常に堅牢なVLMはInternVL2ファミリーから来ている。 さらに、迅速な感度がトレーニングデータと関連していることを示す。 コードはhttps://github.com/NVlabs/PARCにある。

関連論文リスト

• Hidden in plain sight: VLMs overlook their visual representations [48.83628674170634]
  視覚言語モデル(VLM)と視覚エンコーダを比較し、これらのモダリティをまたいで統合する能力を理解する。 VLMは視覚エンコーダよりも著しく性能が悪く、近距離性能に低下することがわかった。
  論文  参考訳（メタデータ） (2025-06-09T17:59:54Z)
• Unlocking the Capabilities of Large Vision-Language Models for Generalizable and Explainable Deepfake Detection [18.125287697902813]
  現在のLVLM(Large Vision-Language Models)は、マルチモーダルデータの理解において顕著な能力を示している。 深度検出のためのLVLMの潜在能力を解き放つ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T03:20:03Z)
• Semantic-Clipping: Efficient Vision-Language Modeling with Semantic-Guidedd Visual Selection [53.558449071113245]
  Vision-Language Models (VLM) は、アライメントされたビジュアルエンコーダを利用して、画像をビジュアルトークンに変換することで、バックボーン大言語モデル (LLM) によるテキストと同じように処理することができる。 視覚言語モデリングの最近の進歩は、すべての符号化されたサブイメージをモデルに供給する画像トリミング技術を導入している。 本稿では,既存のVLMとシームレスに統合し,細粒度処理能力を高める軽量で普遍的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-14T18:33:31Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Scaling Inference-Time Search with Vision Value Model for Improved Visual Comprehension [95.63899307791665]
  視覚価値モデル(VisVM)は、VLM推論時間探索をガイドして、より良い視覚的理解で応答を生成する。 本稿では、VLM推論時間探索をガイドし、視覚的理解を向上した応答を生成するVisVMを提案する。
  論文  参考訳（メタデータ） (2024-12-04T20:35:07Z)
• DARE: Diverse Visual Question Answering with Robustness Evaluation [16.87867803628065]
  視覚言語モデル(VLM)は、テキストのみの大規模言語モデルと視覚のみのモデルの顕著な機能を拡張する。 彼らは数え上げや空間的推論といった重要な視覚言語(VL)推論能力に苦しむ。 本稿では,ロバストネス評価を用いたDARE,Diverse Visual Question Answeringを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T16:31:50Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• Benchmarking Zero-Shot Recognition with Vision-Language Models: Challenges on Granularity and Specificity [45.86789047206224]
  本稿では,ゼロショット認識における視覚言語モデル(VLM)の評価のための新しいベンチマークを提案する。 我々のベンチマークは、意味的粒度レベルにおける概念理解におけるVLMの一貫性と、テキストの特異性に対する応答を検証した。 発見によると、VLMは微粒な概念を適度に好み、特異性に苦しむ。
  論文  参考訳（メタデータ） (2023-06-28T09:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。