論文の概要: On the Perception Bottleneck of VLMs for Chart Understanding

• arxiv url: http://arxiv.org/abs/2503.18435v1
• Date: Mon, 24 Mar 2025 08:33:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:07.412934
• Title: On the Perception Bottleneck of VLMs for Chart Understanding
• Title（参考訳）: チャート理解のためのVLMの知覚基盤について
• Authors: Junteng Liu, Weihao Zeng, Xiwen Zhang, Yijun Wang, Zifei Shan, Junxian He,
• Abstract要約: チャート理解には、数値データ、テキスト要素、複雑なビジュアルコンポーネントを分析し、推論するモデルが必要である。 この過程において,既存の大規模視覚言語モデル(LVLM)の知覚能力が重要なボトルネックとなっていることが明らかとなった。 本研究では,視覚エンコーダのボトルネックと抽出ボトルネックの2つのコンポーネントに分解することで,この認識ボトルネックを解明する。
• 参考スコア（独自算出の注目度）: 17.70892579781301
• License:
• Abstract: Chart understanding requires models to effectively analyze and reason about numerical data, textual elements, and complex visual components. Our observations reveal that the perception capabilities of existing large vision-language models (LVLMs) constitute a critical bottleneck in this process. In this study, we delve into this perception bottleneck by decomposing it into two components: the vision encoder bottleneck, where the visual representation may fail to encapsulate the correct information, and the extraction bottleneck, where the language model struggles to extract the necessary information from the provided visual representations. Through comprehensive experiments, we find that (1) the information embedded within visual representations is substantially richer than what is typically captured by linear extractors, such as the widely used retrieval accuracy metric; (2) While instruction tuning effectively enhances the extraction capability of LVLMs, the vision encoder remains a critical bottleneck, demanding focused attention and improvement. Therefore, we further enhance the visual encoder to mitigate the vision encoder bottleneck under a contrastive learning framework. Empirical results demonstrate that our approach significantly mitigates the perception bottleneck and improves the ability of LVLMs to comprehend charts. Code is publicly available at https://github.com/hkust-nlp/Vision4Chart.
• Abstract（参考訳）: チャート理解には、数値データ、テキスト要素、複雑なビジュアルコンポーネントを効果的に分析し、推論するモデルが必要である。 この過程において,既存の大規模視覚言語モデル(LVLM)の知覚能力が重要なボトルネックとなっていることが明らかとなった。 本研究では,視覚的表現が正しい情報をカプセル化できない視覚エンコーダボトルネックと,言語モデルが提供した視覚的表現から必要な情報を抽出するのに苦労する抽出ボトルネックという2つのコンポーネントに分解することで,この認識ボトルネックを解明する。 総合的な実験により,(1)視覚表現に埋め込まれた情報は,広く使用されている検索精度などの線形抽出器よりもかなりリッチであることが判明した。(2)指導指導はLVLMの抽出能力を効果的に向上するが,視覚エンコーダは重要なボトルネックであり,注意と改善が求められている。 そこで我々は視覚エンコーダをさらに強化し、コントラスト学習フレームワークの下で視覚エンコーダのボトルネックを軽減する。 実験結果から,本手法は認識ボトルネックを著しく軽減し,LVLMのチャート理解能力を向上させることが示唆された。 コードはhttps://github.com/hkust-nlp/Vision4Chart.comで公開されている。

関連論文リスト

• Leveraging Retrieval-Augmented Tags for Large Vision-Language Understanding in Complex Scenes [0.0]
  Vision-Aware Retrieval-Augmented Prompting (VRAP)は、大規模ビジョンランゲージモデルを強化するジェネレーティブアプローチである。 VRAPは、微細な推論とマルチモーダル理解において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-16T02:52:19Z)
• Beyond Sight: Towards Cognitive Alignment in LVLM via Enriched Visual Knowledge [24.538839144639653]
  LVLM(Large Vision-Language Models)は、学習済みのビジョンと言語コンポーネントを個別に統合する。 これらのモデルはしばしば、視覚エンコーダ(VE)と大言語モデル(LLM)の「認知的不整合」の中核的な問題に遭遇する。
  論文  参考訳（メタデータ） (2024-11-25T18:33:14Z)
• A-VL: Adaptive Attention for Large Vision-Language Models [10.027871150748956]
  LVLM(Large Vision-Language Model)は、コンピュータビジョンと自然言語処理技術を統合し、アプリケーションの可能性を高める。 現在の適応アダプティブアテンション手法はトランスフォーマーベースの言語モデルのメモリ要求を大幅に削減する。 我々は、LVLMがリモート画像トークンとローカルテキストトークンの両方から応答を生成し、異なるモダリティが異なる注意パターンを持つのを観察した。 LVLM推論に適したプラグアンドプレイ適応型アダプティブアテンションであるA-VLを開発した。
  論文  参考訳（メタデータ） (2024-09-23T09:22:59Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• Instruction Tuning-free Visual Token Complement for Multimodal LLMs [51.138806401996696]
  マルチモーダルな大言語モデル(MLLM)は、視覚と言語の間のエレガントな橋渡しを約束している。 本稿では,MLLM が欠落した視覚機能を取り戻すのに役立つ Visual Token Complement フレームワーク (VTC) を提案する。 我々のVTCは、テキスト不関連特徴を特定するためのガイドとしてテキスト・ツー・イメージ生成を統合し、視覚的セレクタを開発し、補完的な視覚的トークンを生成する。
  論文  参考訳（メタデータ） (2024-08-09T12:13:01Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• Understanding ME? Multimodal Evaluation for Fine-grained Visual Commonsense [98.70218717851665]
  モデルが、限られた評価データ資源のために、視覚的シーンと基礎となるコモンセンス知識を本当に理解しているかどうかは不明だ。 本稿では,視覚シーン,テキスト,関連知識に対するモデルの理解をテストするために,質問応答ペアを自動的に生成するマルチモーダル評価(ME)パイプラインを提案する。 次に、MEデータによるトレーニングが標準VCR評価におけるモデルの性能を高めることを示すために、さらに一歩踏み出します。
  論文  参考訳（メタデータ） (2022-11-10T21:44:33Z)
• Off-policy Imitation Learning from Visual Inputs [83.22342811160114]
  本稿では、政治以外の学習方法、データ拡張、エンコーダ技術からなるOPIfVIを提案する。 OPIfVIは、エキスパートレベルのパフォーマンスを実現し、既存のベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-11-08T09:06:12Z)
• Visualization Techniques to Enhance Automated Event Extraction [0.0]
  このケーススタディでは,NLPを用いたニュース記事から,国家主導による大量殺人の潜在的な引き金を探究する。 可視化は、生データの探索分析から機械学習トレーニング分析、最後に推論後の検証に至るまで、各段階でどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-06-11T19:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。