論文の概要: When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2608.04726v1
• Date: Wed, 05 Aug 2026 11:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.874909
• Title: When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning
• Title（参考訳）: PromptsがPixelになったとき:マルチモーダル推論のためのPrompt-Region Grounding
• Authors: Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang,
• Abstract要約: 本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。 本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
• 参考スコア（独自算出の注目度）: 73.56343820592399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models increasingly reason over screenshots and documents where the task itself may be written in pixels. Yet benchmarks usually place questions in text, leaving it unclear whether models use the same instruction equally well across channels. We introduce Visualized Task Semantics (VTS), a controlled intervention that moves the question into the image while keeping the source problem and answer fixed. Across six MLLMs and four benchmarks, accuracy drops in all 24 model-task pairs, by 17.8 points on average. Models often transcribe the visual question correctly yet fail to use it, exposing a semantic channel gap beyond OCR. To reduce this gap, we present prompt-region grounding, whose core design aligns the question region with typed semantics and recovers its clean representation from a masked view. At matched training cost, our method raises four-benchmark VTS accuracy from 58.0 to 66.3 while preserving accuracy on the original interface, and requires no OCR or region metadata at inference. Reading task-bearing text and grounding it as an instruction for reasoning are distinct capabilities.
• Abstract（参考訳）: マルチモーダルな大きな言語モデルは、タスク自体がピクセルで書かれる可能性のあるスクリーンショットやドキュメントよりも、ますます理由をなしている。 しかし、ベンチマークは通常、質問をテキストに配置するので、モデルが同じ命令をチャンネル間で同じように使うかどうかは不明だ。 本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。 モデルはしばしば視覚的な質問を正しく書き起こすが、それを使うのに失敗し、OCRを超えて意味的なチャンネルギャップを露呈する。 このギャップを減らすために,質問領域を型付き意味論と整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。 一致したトレーニングコストでは,元のインタフェースの精度を保ちながら,58.0から66.3に4ベンチマークVTSの精度を上げ,推論時にOCRや領域メタデータを必要としない。 タスクを持つテキストを読み、推論の命令としてグラウンド化することは、異なる能力である。

関連論文リスト

• Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs [23.958966900531692]
  MLLM(Multimodal large language model)は、画像として表示されるテキストを処理できるが、同じコンテンツがテキストトークンとして提供される場合よりも処理が悪くなることが多い。 我々は,この「モダリティギャップ」を7つのベンチマークを5つの入力モードで評価することにより,系統的に診断する。
  論文  参考訳（メタデータ） (2026-03-10T02:14:23Z)
• Beyond Pixels: A Training-Free, Text-to-Text Framework for Remote Sensing Image Retrieval [2.2613695007273926]
  我々は、画像毎に複数の構造化キャプションを特徴付ける新しいベンチマークであるRemote Sensing Rich Textデータセットを紹介する。 本データセットに基づいて,TRSLLaVAと呼ばれる完全トレーニングフリーでテキストのみの検索基準を提案する。 提案手法は,VLM生成キャプションのデータベースに対して,リッチテキスト記述をクエリとして活用し,テキスト間マッチング問題としてクロスモーダル検索を再構成する。
  論文  参考訳（メタデータ） (2025-12-11T12:43:41Z)
• OmniFD: A Unified Model for Versatile Face Forgery Detection [45.17431538516313]
  OmniFDは、単一のモデル内で4つのコアフォージェリ検出タスクを共同で処理する統合フレームワークである。 本アーキテクチャは,(1)画像と映像の両方から統合された4次元時間表現を抽出する共有スウィン変換器,(2)学習可能なクエリを持つクロスタスクインタラクションモジュール,(3)洗練された表現を対応する予測に変換する軽量デコードヘッドの3つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-11-30T22:36:42Z)
• LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
  Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。 このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。 我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
  論文  参考訳（メタデータ） (2025-05-21T15:06:59Z)
• VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
  我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。 この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。 このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:40Z)
• TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document [60.01330653769726]
  テキスト中心タスクに適した大規模マルチモーダルモデル(LMM)であるTextMonkeyを提案する。 ゼロ初期化によるシフトウィンドウアテンションの導入により、高い入力解像度でクロスウィンドウ接続を実現する。 テキストスポッティングとグラウンド化を包含する能力を拡張し、位置情報を応答に組み込むことで、解釈可能性を高める。
  論文  参考訳（メタデータ） (2024-03-07T13:16:24Z)
• Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V [103.68138147783614]
  大規模マルチモーダルモデルの視覚的グラウンド化能力を解き放つために,新しい視覚的プロンプト手法であるSet-of-Mark(SoM)を提案する。 我々は、SEEM/SAMのような市販のインタラクティブセグメンテーションモデルを用いて、画像を領域に分割し、これらの領域を一連のマークでオーバーレイする。 マークされたイメージを入力として使用することで、GPT-4Vは視覚的な接地を必要とする質問に答えることができる。
  論文  参考訳（メタデータ） (2023-10-17T17:51:31Z)
• UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
  一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。 UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
  論文  参考訳（メタデータ） (2023-01-16T08:43:17Z)
• LaTr: Layout-Aware Transformer for Scene-Text VQA [8.390314291424263]
  STVQA(Scene Text Visual Question Answering)のための新しいアーキテクチャを提案する。 スキャンした文書にこの事前学習方式を適用することは、自然画像を使用するよりも、ある程度の利点があることを示す。 既存の手法と比較して,本手法は語彙なし復号化を行い,トレーニング語彙をはるかに超越した一般化を行う。
  論文  参考訳（メタデータ） (2021-12-23T12:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。