Fugu-MT 論文翻訳(概要): ReVA: A Region-Aware Visual Assistant for Visually Grounded Question Answering

論文の概要: ReVA: A Region-Aware Visual Assistant for Visually Grounded Question Answering

arxiv url: http://arxiv.org/abs/2608.28707v1
Date: Thu, 27 Aug 2026 20:33:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.724427
Title: ReVA: A Region-Aware Visual Assistant for Visually Grounded Question Answering
Title（参考訳）: ReVA: 視覚的な質問応答のための地域対応ビジュアルアシスタント
Abstract要約: 凍結したCLIP ViT-L/14 Vision Transformer (ViT) と Qwen2.5-7B-Instruct large language model (LLM) を用いた領域対応VQAモデルであるReVAを提案する。我々は、ReVAがPOPE上で82.85%の平均F1を達成するのに対し、画像トークンのないベースラインでは81.14%であることを示した。その結果、明示的な領域認識視覚表現は、対象の幻覚を減らし、MLLMの現実的な接地を改善することが示されている。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal Large Language Models (MLLMs) have achieved remarkable progress in Visual Question Answering (VQA), yet they continue to struggle with questions requiring precise spatial reasoning and fine-grained visual understanding. These limitations often manifest as object, attribute, and spatial hallucinations, where models generate confident but visually unsupported responses due to insufficient region-level and fine-grained visual grounding. To address this challenge, we propose ReVA, a region-aware VQA model that employs a frozen CLIP ViT-L/14 Vision Transformer (ViT) and a Qwen2.5-7B-Instruct large language model (LLM) connected through a dual bridge that aligns both whole-image and region-level representations with the LLM's embedding space. The image bridge maps final transformer block features into image tokens. The region bridge maps cropped features from enriched intermediate features across ViT blocks so early texture and later object cues are more evident, into K region tokens for every bounding box. ReVA uses a detector stack that supplies automatic zero-shot bounding boxes that are both question-agnostic and question-dependent, using RAM++ (Recognize Anything Model), spaCy, and Grounding DINO. The image tokens and region tokens are concatenated as an LLM prompt prefix to jointly encode scene-level context and fine-grained regional evidence when answering questions. Evaluated on VQAv2, MMBench, POPE, and SEED-Bench, ReVA achieves 82.85% mean F1 on POPE, compared with 81.14% for an image-token baseline without region tokens. These results demonstrate that explicit region-aware visual representations reduce object hallucination and improve the factual grounding of MLLMs.
Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、VQA(Visual Question Answering)において顕著な進歩を遂げている。これらの制限は、しばしばオブジェクト、属性、空間幻覚として現れ、モデルでは、不十分な領域レベルときめ細かい視覚的接地のために、自信はあるが視覚的に支持されない応答を生成する。この課題を解決するために,冷凍CLIP ViT-L/14 Vision Transformer(ViT)とQwen2.5-7B-Instruct Large Language Model(LLM)を併用した領域対応VQAモデルであるReVAを提案する。画像ブリッジは、最終変圧器ブロックの機能を画像トークンにマッピングする。領域ブリッジは、ViTブロックにまたがる豊富な中間特徴から抽出された特徴をマッピングするので、初期のテクスチャや後続のオブジェクトキューはより明確になり、境界ボックスごとにK領域トークンにマップされる。 ReVAは、RAM++(Recognize Anything Model)、paCy(英語版)、Grounding DINO(英語版)を使用して、疑問に依存しない自動ゼロショットバウンディングボックスを提供する検出器スタックを使用している。画像トークンと領域トークンは、LLMプロンプトプレフィックスとして連結され、質問に答える際にシーンレベルのコンテキストときめ細かい地域証拠を共同で符号化する。 VQAv2、MMBench、POPE、SEED-Benchで評価すると、ReVAはPOPE上で82.85%の平均F1を達成する。これらの結果は、明示的な領域認識型視覚表現は、物体幻覚を減少させ、MLLMの事実的基盤を改善することを示している。

関連論文リスト

UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
論文参考訳（メタデータ） (2026-08-11T12:01:59Z)
ChatImage: Navigating Long-Form LLM Answers through Interactive Images [40.09535240509679]
大規模言語モデル(LLM)は複雑なクエリに対する詳細な回答を生成することができるが、これらの答えは典型的には密度の高い線形テキストとして表現される。本稿では,LLMの長文回答をインタラクティブな視覚画像に変換するChatImageを提案する。
論文参考訳（メタデータ） (2026-07-06T16:30:41Z)
Timage: A Generative Text-in-Image Paradigm for Fine-Tuning Vision-Language Models [22.803631190636313]
我々は、マルチモーダル理解を入力で解決したアライメント問題として再キャストするパラダイムであるTimageを紹介する。この研究は、意図的な入力再構成をマルチモーダル推論を強化するための強力なアーキテクチャニュートラルレバーとして位置づけている。
論文参考訳（メタデータ） (2026-06-18T08:40:41Z)
ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。視覚トークンのコンパクトだが情報に富むサブセットを選択する。これは、計算、メモリ消費、推論遅延を効果的に削減する。
論文参考訳（メタデータ） (2026-03-22T07:44:45Z)
See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning [58.7125460363147]
本稿では,質問条件付きマスキングビューを双方向の視線信号に変換する双方向知覚整形(BiPS)を提案する。 BiPSはQwen2.5-VL-7Bを平均8.2%向上させ、目に見えないデータセットやイメージタイプに対して、ドメイン外の強力な一般化を示す。
論文参考訳（メタデータ） (2025-12-26T18:59:47Z)
Grasp Any Region: Towards Precise, Contextual Pixel Understanding for Multimodal LLMs [69.53606742316698]
そこで我々は,GAR (Grasp Any Region) を導入し,地域レベルの理解を深める。 GARは(1)必要なグローバルコンテキストを活用することによって正確な認識をサポートし、(2)複数のプロンプト間の相互作用をモデル化する。そして自然に(3)高度な構成的推論を達成し、任意の領域に関する特定の自由形式の疑問に答える。
論文参考訳（メタデータ） (2025-10-21T17:59:59Z)
CROP: Contextual Region-Oriented Visual Token Pruning [9.099029419132775]
Contextual Region-Oriented Visual Token Pruning (CROP)は、ビジュアルトークンを圧縮する新しいフレームワークである。プレLLM圧縮(PLC)と、異なる画像領域を異なる比率で適応的に圧縮する(2)インナーLLMプルーニング(ILP)は、識別されたコンテキスト領域に導かれる初期層内でトークンをプルーする訓練不要な方法である。
論文参考訳（メタデータ） (2025-05-27T14:16:52Z)
VLM-R$^3$: Region Recognition, Reasoning, and Refinement for Enhanced Multimodal Chain-of-Thought [51.43082554363725]
textbfVLM-R$3$ (textbfVisual textbfLanguage textbfModel with textbfRegion textbfRecognition and textbfReasoning) はMLLMに付加的な視覚的証拠が必要な場合にエフェクトを決定する機能を提供するフレームワークである。 MathVista、ScienceQA、その他のベンチマークの実験は、VLM-R$3$が新しいものを設定することを示している
論文参考訳（メタデータ） (2025-05-22T03:50:13Z)
PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model [0.0]
幻覚は、しばしば注意重みの進歩的な弱体化から視覚的トークンへと生じる。 textbfPAINT (textbfPaying textbfAttention to textbfINformed textbfTokens) は、大規模視覚言語モデルの自己保持機構を介するプラグイン・アンド・プレイフレームワークである。
論文参考訳（メタデータ） (2025-01-21T15:22:31Z)
Question-Answer Cross Language Image Matching for Weakly Supervised Semantic Segmentation [37.15828464616587]
クラスアクティベーションマップ(CAM)は、弱教師付きセマンティックセグメンテーションの一般的なツールとして登場した。我々はWSSS(QA-CLIMS)のための質問応答クロスランゲージ画像マッチングフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-18T10:55:13Z)
SA$^2$VP: Spatially Aligned-and-Adapted Visual Prompt [59.280491260635266]
視覚的プロンプトチューニングの方法は、NLPから派生した逐次モデリングパラダイムに従う。マイモデルモデルは、画像トークンマップに等しい大きさ(またはスケールした)の2次元プロンプトトークンマップを学習する。我々のモデルは、個々の画像トークンをきめ細かな方法でプロンプトすることができる。
論文参考訳（メタデータ） (2023-12-16T08:23:43Z)
Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V [103.68138147783614]
大規模マルチモーダルモデルの視覚的グラウンド化能力を解き放つために,新しい視覚的プロンプト手法であるSet-of-Mark(SoM)を提案する。我々は、SEEM/SAMのような市販のインタラクティブセグメンテーションモデルを用いて、画像を領域に分割し、これらの領域を一連のマークでオーバーレイする。マークされたイメージを入力として使用することで、GPT-4Vは視覚的な接地を必要とする質問に答えることができる。
論文参考訳（メタデータ） (2023-10-17T17:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。