論文の概要: UnAC: Adaptive Visual Prompting with Abstraction and Stepwise Checking for Complex Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2605.03950v1
- Date: Tue, 05 May 2026 16:36:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:44.038168
- Title: UnAC: Adaptive Visual Prompting with Abstraction and Stepwise Checking for Complex Multimodal Reasoning
- Title（参考訳）: UnAC: 複雑なマルチモーダル推論のための抽象化とステップワイズチェックによる適応型ビジュアルプロンプト
- Authors: Yifan Wang, Yun Fu,
- Abstract要約: UnACは複雑なマルチモーダルタスクの推論を強化するマルチモーダルプロンプト手法である。
そこで本稿では,LMMが有能な領域に集中できる適応型視覚刺激方式を提案する。
また、各サブクエストとその回答を検証することによって推論を改善する段階的な自己チェック方式も導入する。
- 参考スコア（独自算出の注目度）: 36.66655623392861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although recent LMMs have become much stronger at visual perception, they remain unreliable on problems that require multi-step reasoning over visual evidence. In this paper, we present UnAC (Understanding, Abstracting, and Checking), a multimodal prompting method that strengthens reasoning for complex multimodal tasks in LMMs (e.g., GPT-4o, Gemini 1.5, and GPT-4V). To improve image understanding and capture fine details, we propose an adaptive visual prompting strategy that enables LMMs to focus on salient regions. We further design an image-abstraction prompt to effectively extract key information from images. In addition, we introduce a gradual self-checking scheme that improves reasoning by verifying each decomposed subquestion and its answer. Extensive experiments on three public benchmarks-MathVista, MM-Vet, and MMMU.
- Abstract（参考訳）: 近年のLMMは視覚的知覚においてより強くなっているが、視覚的証拠に対する多段階の推論を必要とする問題に対しては信頼できないままである。
本稿では、LMMにおける複雑なマルチモーダルタスク(例えば、GPT-4o、Gemini 1.5、GPT-4V)の推論を強化するマルチモーダルプロンプト手法であるUnAC(Understanding, Abstracting, and Checking)を提案する。
画像の理解を改善し,細部を捉えるために,LMMが有能な領域に集中できる適応型視覚プロンプト戦略を提案する。
さらに、画像から重要な情報を効果的に抽出する画像抽出プロンプトを設計する。
さらに,分解された各サブクエストとその解答を検証することにより,推論を改善する段階的な自己チェック方式を導入する。
MathVista、MM-Vet、MMMUの3つの公開ベンチマークに関する大規模な実験。
関連論文リスト
- QG-CoC: Question-Guided Chain-of-Captions for Large Multimodal Models [50.51641024244313]
本稿では,複数の画像を扱う場合の視覚的情報処理について検討する。
そこで本研究では,新たなゼロショットプロンプト手法であるQG-CoC(QG-CoC)を提案する。
マルチイメージおよびシングルイメージベンチマークのための各種オープンソースおよびクローズドソースMLLMについて評価を行った。
論文 参考訳（メタデータ） (2025-11-05T05:49:48Z) - Directed-Tokens: A Robust Multi-Modality Alignment Approach to Large Language-Vision Models [28.82265769298008]
視覚的・テキスト的モダリティ間のロバストなアライメントを改善するための,シンプルだが効率的な学習機構を提案する。
提案手法は,従来のLMMと比較して常に最先端(SoTA)性能を実現する。
論文 参考訳（メタデータ） (2025-08-19T20:53:24Z) - Meta-Adaptive Prompt Distillation for Few-Shot Visual Question Answering [53.82094608038132]
大規模マルチモーダルモデル(LMM)は、最小限の監督で新しいタスクを実行するために、コンテキスト内学習(ICL)に依存することが多い。
ICLの性能、特に小さなLMMでは、一貫性がなく、例の増加とともに常に単調に改善するとは限らない。
メタラーニング手法を提案することで,LMMの少数ショット機能を実現する方法を提案する。
論文 参考訳（メタデータ） (2025-06-07T19:37:22Z) - Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning [53.790502697674754]
本稿では、画像入力を重要な推論段階に移行する戦略であるTake-Allong Visual Conditioning (TVC)を提案する。
TVCは、推論を通して視覚的なコンポーネントへの注意を維持するのに役立つ。
提案手法は,5つの数学的推論ベンチマークにおいて,最先端の性能を平均で達成する。
論文 参考訳（メタデータ） (2025-03-17T16:45:12Z) - Visualizing Thought: Conceptual Diagrams Enable Robust Planning in LMMs [59.66595230543127]
概念図はメンタルモデルを外部化し、関係のない詳細を抽象化して、エンティティの相互作用を効率的に捉える。
大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) は、主にテキストを通して推論される。
我々は、LMMが複数の自己生成概念図を通した推論を可能にする、一般化可能なフレームワークであるVisual Thinkingを提案する。
論文 参考訳（メタデータ） (2025-03-14T18:27:02Z) - VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。
本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。
我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
論文 参考訳（メタデータ） (2025-02-25T23:36:19Z) - Image-of-Thought Prompting for Visual Reasoning Refinement in Multimodal Large Language Models [14.765057045747753]
CoT(Chain-of-Thought)と関連する合理性に基づく研究は、複雑な推論タスクにおいて、LLM(Large Language Models)の性能を大幅に向上させた。
本稿では,MLLMの視覚的合理性を段階的に抽出する,IoT(Image-of-Thought)プロンプト手法を提案する。
IoTプロンプトは、さまざまなMLLMのさまざまな視覚的理解タスクにおいて、ゼロショットの視覚的推論性能を改善した。
論文 参考訳（メタデータ） (2024-05-22T17:56:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。