論文の概要: Focus, Don't Prune: Identifying Instruction-Relevant Regions for Information-Rich Image Understanding

• arxiv url: http://arxiv.org/abs/2603.22815v1
• Date: Tue, 24 Mar 2026 05:37:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.319509
• Title: Focus, Don't Prune: Identifying Instruction-Relevant Regions for Information-Rich Image Understanding
• Title（参考訳）: 焦点を絞らない:情報リッチ画像理解のための指示関連領域の同定
• Authors: Mincheol Kwon, Minseung Lee, Seonga Choi, Miso Choi, Kyeong-Jin Oh, Hyunyoung Lee, Cheonyoung Park, Yongho Song, Seunghyun Park, Jinkyu Kim,
• Abstract要約: PinPointは、まず命令関連の画像領域を特定し、それを洗練して、きめ細かい視覚的特徴を抽出するフレームワークである。 新しいアノテーションは、挑戦的なVQAベンチマークにまたがる命令関連領域に対して、よりリッチな地味な監視を提供する。
• 参考スコア（独自算出の注目度）: 15.310650411597727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) have shown strong performance across various multimodal tasks by leveraging the reasoning capabilities of Large Language Models (LLMs). However, processing visually complex and information-rich images, such as infographics or document layouts, requires these models to generate a large number of visual tokens, leading to significant computational overhead. To address this, we propose PinPoint, a novel two-stage framework that first identifies instruction-relevant image regions and then refines them to extract fine-grained visual features for improved reasoning and efficiency. Central to our approach is the Instruction-Region Alignment, which localizes relevant regions using both visual input and textual instructions. We further introduce new annotations that provide richer ground-truth supervision for instruction-relevant regions across challenging VQA benchmarks: InfographicVQA, MultiPageDocVQA, and SinglePageDocVQA. Experimental results show that PinPoint not only achieves superior accuracy compared to existing methods but also reduces computational overhead by minimizing irrelevant visual tokens.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、LLM(Large Language Models)の推論機能を活用することで、様々なマルチモーダルタスクに対して強力な性能を示す。 しかし、インフォグラフィックや文書レイアウトのような視覚的に複雑で情報に富んだ画像を処理するためには、これらのモデルが大量の視覚トークンを生成する必要があるため、計算上のオーバーヘッドが大幅に増大する。 そこで本研究では,まず命令関連画像領域を識別し,より微細な視覚的特徴を抽出し,推論と効率を向上する新しい2段階のフレームワークであるPinPointを提案する。 我々のアプローチの中心は、視覚入力とテキスト命令の両方を用いて関連領域をローカライズするインストラクション・レギオンアライメントである。 InfographicVQA, MultiPageDocVQA, SinglePageDocVQA。 実験の結果,PinPointは既存の手法に比べて精度が高いだけでなく,無関係な視覚トークンを最小化することで計算オーバーヘッドを低減できることがわかった。

関連論文リスト

• Boosting Point-supervised Temporal Action Localization via Text Refinement and Alignment [66.80402022104074]
  本稿では,視覚記述からテキスト特徴を効果的に活用し,意味的に豊かな視覚特徴を補完するテキスト認識・アライメント(TRA)フレームワークを提案する。 これは、PTR(Point-based Text Refinement Module)とPMA(Point-based Multimodal Alignment Module)の2つの新しいモジュールを設計することで実現される。
  論文  参考訳（メタデータ） (2026-02-01T14:35:46Z)
• When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought [118.71264263478083]
  MIRAは,中間画像の生成が推論の成功に不可欠であるシナリオにおいて,モデルを評価するために設計された新しいベンチマークである。 546のマルチモーダル問題を含み、中間画像と最終回答が注釈付きである。
  論文  参考訳（メタデータ） (2025-11-04T18:00:51Z)
• Pyramid Token Pruning for High-Resolution Large Vision-Language Models via Region, Token, and Instruction-Guided Importance [60.028070589466445]
  Pyramid Token Pruning (PTP) は、階層的にボトムアップの視覚的サリエンスとトークンレベルをトップダウンの指導誘導の関連性と統合する、トレーニング不要の戦略である。 PTPは計算コスト、メモリ使用量、推論遅延を大幅に削減し、性能劣化を無視できることを示した。
  論文  参考訳（メタデータ） (2025-09-19T07:28:17Z)
• CROP: Contextual Region-Oriented Visual Token Pruning [9.099029419132775]
  Contextual Region-Oriented Visual Token Pruning (CROP)は、ビジュアルトークンを圧縮する新しいフレームワークである。 プレLLM圧縮(PLC)と、異なる画像領域を異なる比率で適応的に圧縮する(2)インナーLLMプルーニング(ILP)は、識別されたコンテキスト領域に導かれる初期層内でトークンをプルーする訓練不要な方法である。
  論文  参考訳（メタデータ） (2025-05-27T14:16:52Z)
• Enhancing Visual Representation for Text-based Person Searching [9.601697802095119]
  VFE-TPSは、ビジュアルフィーチャ強化テキストベースのPerson Searchモデルである。 基本的なマルチモーダル機能を学ぶために、トレーニング済みのバックボーンCLIPを導入する。 Text Guided Masked Image Modelingタスクを構築し、局所的な視覚的詳細を学習するモデルの能力を強化する。
  論文  参考訳（メタデータ） (2024-12-30T01:38:14Z)
• Visual CoT: Advancing Multi-Modal Language Models with a Comprehensive Dataset and Benchmark for Chain-of-Thought Reasoning [40.972648044298374]
  MLLM(Multi-Modal Large Language Models)は様々なVQAタスクにおいて顕著な性能を示す。 解釈可能性に欠け、複雑な視覚的な入力に苦しむことが多い。 438k問合せ対からなる大規模Visual CoTデータセットを提案する。 視覚的な入力を動的に重視し,解釈可能な思考を提供するマルチターン処理パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-25T17:59:23Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• GeoVLN: Learning Geometry-Enhanced Visual Representation with Slot Attention for Vision-and-Language Navigation [52.65506307440127]
  我々は,ロバストなビジュアル・アンド・ランゲージナビゲーションのためのスロットアテンションに基づく幾何学的視覚表現を学習するGeoVLNを提案する。 我々はV&L BERTを用いて言語情報と視覚情報の両方を組み込んだクロスモーダル表現を学習する。
  論文  参考訳（メタデータ） (2023-05-26T17:15:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。