論文の概要: On the Limitations of Vision-Language Models in Understanding Image Transforms

• arxiv url: http://arxiv.org/abs/2503.09837v2
• Date: Fri, 14 Mar 2025 01:44:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:09:25.833007
• Title: On the Limitations of Vision-Language Models in Understanding Image Transforms
• Title（参考訳）: 画像変換理解における視覚言語モデルの限界について
• Authors: Ahmad Mustafa Anis, Hasnain Ali, Saquib Sarfraz,
• Abstract要約: 視覚言語モデル(VLM)は、様々な下流タスクにおいて大きな可能性を証明している。 本稿では,VLMのイメージレベルの理解,特にOpenAIによるCLIPとGoogleによるSigLIPについて検討する。 以上の結果から,これらのモデルには複数の画像レベルの拡張の理解が欠如していることが判明した。
• 参考スコア（独自算出の注目度）: 0.9217021281095907
• License:
• Abstract: Vision Language Models (VLMs) have demonstrated significant potential in various downstream tasks, including Image/Video Generation, Visual Question Answering, Multimodal Chatbots, and Video Understanding. However, these models often struggle with basic image transformations. This paper investigates the image-level understanding of VLMs, specifically CLIP by OpenAI and SigLIP by Google. Our findings reveal that these models lack comprehension of multiple image-level augmentations. To facilitate this study, we created an augmented version of the Flickr8k dataset, pairing each image with a detailed description of the applied transformation. We further explore how this deficiency impacts downstream tasks, particularly in image editing, and evaluate the performance of state-of-the-art Image2Image models on simple transformations.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、画像/ビデオ生成、視覚質問応答、マルチモーダルチャットボット、ビデオ理解など、様々な下流タスクにおいて大きな可能性を示している。 しかし、これらのモデルはしばしば基本的な画像変換に苦しむ。 本稿では,VLMのイメージレベルの理解,特にOpenAIによるCLIPとGoogleによるSigLIPについて検討する。 以上の結果から,これらのモデルには複数の画像レベルの拡張の理解が欠如していることが判明した。 本研究では、Flickr8kデータセットの拡張版を作成し、各画像と適用した変換の詳細な記述をペアリングした。 さらに、この欠陥が下流タスク、特に画像編集にどのように影響するかを考察し、単純な変換における最先端の画像2画像モデルの性能を評価する。

関連論文リスト

• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• AdaptVision: Dynamic Input Scaling in MLLMs for Versatile Scene Understanding [96.01726275876548]
  本稿では,様々な解像度の入力画像を動的に処理するマルチモーダルな大規模言語モデルAdaptVisionを提案する。 画像のサイズやアスペクト比に応じて視覚トークンの数を調整する動的画像分割モジュールを考案する。 私たちのモデルは、解像度1008倍の1008ドルまでの画像を処理できます。
  論文  参考訳（メタデータ） (2024-08-30T03:16:49Z)
• LLaVA-SG: Leveraging Scene Graphs as Visual Semantic Expression in Vision-Language Models [9.936172224069036]
  大規模視覚言語モデル(VLM)におけるシーングラフ表現(SGE)モジュールについて紹介する。 SGEモジュールは、画像内の複雑な意味情報を抽出し、構造的に表現する。 SGEモジュールの統合は視覚言語タスクにおけるVLMの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-08-29T02:43:20Z)
• How Well Can Vision Language Models See Image Details? [53.036922527685064]
  視覚言語モデルはどのようにして画像の詳細を見ることができるのか」を探求するために画素値予測タスクを導入する。 我々の研究は、VLM事前学習タスクと視覚エンコーダ適応の1つとして画素値予測を組み込むことで、下流画像言語理解タスクにおけるVLM性能が著しく向上することを明らかにする。
  論文  参考訳（メタデータ） (2024-08-07T17:59:40Z)
• VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
  我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。 この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。 このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:40Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Question Aware Vision Transformer for Multimodal Reasoning [14.188369270753347]
  マルチモーダル推論のための質問認識型視覚変換器QA-ViTを提案する。 視覚エンコーダに直接質問認識を埋め込む。 この統合により、仮定された問題に関連性のある画像の側面に焦点を当てた動的視覚的特徴が得られる。
  論文  参考訳（メタデータ） (2024-02-08T08:03:39Z)
• Viewpoint Integration and Registration with Vision Language Foundation Model for Image Change Understanding [15.392243642628387]
  画像変化理解(ICU)に直接適用した場合,既存の視覚言語基盤モデル (VLFM) が不十分であることを示す。 ICUは複数の画像間の実際の変化をキャプチャし、それらを言語で記述するためにモデルを必要とする。 本稿では,これらの問題に対処するための視点統合と登録手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:41:29Z)
• Revisiting Temporal Modeling for CLIP-based Image-to-Video Knowledge Transferring [82.84513669453744]
  画像テキスト事前訓練モデル(例えばCLIP)は、大規模な画像テキストデータペアから学んだ、印象的な汎用マルチモーダル知識を示している。 画像間知識伝達の文脈における時間的モデリングを再考する。 本稿では,CLIPモデルを多様なビデオタスクに拡張する簡易かつ効果的な時間的モデリング機構を提案する。
  論文  参考訳（メタデータ） (2023-01-26T14:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。