論文の概要: Progressive Multimodal Reasoning via Active Retrieval

• arxiv url: http://arxiv.org/abs/2412.14835v1
• Date: Thu, 19 Dec 2024 13:25:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:34:02.713248
• Title: Progressive Multimodal Reasoning via Active Retrieval
• Title（参考訳）: アクティブ検索によるプログレッシブマルチモーダル推論
• Authors: Guanting Dong, Chenghao Zhang, Mengjie Deng, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen,
• Abstract要約: 多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
• 参考スコア（独自算出の注目度）: 64.74746997923967
• License:
• Abstract: Multi-step multimodal reasoning tasks pose significant challenges for multimodal large language models (MLLMs), and finding effective ways to enhance their performance in such scenarios remains an unresolved issue. In this paper, we propose AR-MCTS, a universal framework designed to progressively improve the reasoning capabilities of MLLMs through Active Retrieval (AR) and Monte Carlo Tree Search (MCTS). Our approach begins with the development of a unified retrieval module that retrieves key supporting insights for solving complex reasoning problems from a hybrid-modal retrieval corpus. To bridge the gap in automated multimodal reasoning verification, we employ the MCTS algorithm combined with an active retrieval mechanism, which enables the automatic generation of step-wise annotations. This strategy dynamically retrieves key insights for each reasoning step, moving beyond traditional beam search sampling to improve the diversity and reliability of the reasoning space. Additionally, we introduce a process reward model that aligns progressively to support the automatic verification of multimodal reasoning tasks. Experimental results across three complex multimodal reasoning benchmarks confirm the effectiveness of the AR-MCTS framework in enhancing the performance of various multimodal models. Further analysis demonstrates that AR-MCTS can optimize sampling diversity and accuracy, yielding reliable multimodal reasoning.
• Abstract（参考訳）: マルチステップのマルチモーダル推論タスクは、マルチモーダルな大規模言語モデル(MLLM)に重大な課題を生じさせ、そのようなシナリオでそれらの性能を高める効果的な方法を見つけることは、未解決の問題である。 本稿では,Active Retrieval (AR) とMonte Carlo Tree Search (MCTS) によるMLLMの推論能力の向上を目的とした汎用フレームワークであるAR-MCTSを提案する。 提案手法は,複合モーダル検索コーパスから複雑な推論問題を解くための重要な知識を抽出する統合検索モジュールの開発から始まる。 自動マルチモーダル推論検証のギャップを埋めるために,MCTSアルゴリズムとアクティブ検索機構を組み合わせることで,ステップワイズアノテーションの自動生成を可能にする。 この戦略は、従来のビームサーチサンプリングを超えて、推論空間の多様性と信頼性を向上させるために、推論ステップ毎に重要な洞察を動的に取得する。 さらに,マルチモーダル推論タスクの自動検証を支援するために,段階的に協調するプロセス報酬モデルを導入する。 3つの複雑なマルチモーダル推論ベンチマークによる実験結果から,様々なマルチモーダルモデルの性能向上におけるAR-MCTSフレームワークの有効性が確認された。 さらなる分析により、AR-MCTSはサンプリングの多様性と精度を最適化し、信頼性の高いマルチモーダル推論が得られることが示された。

関連論文リスト

• Multi-granular Training Strategies for Robust Multi-hop Reasoning Over Noisy and Heterogeneous Knowledge Sources [0.0]
  マルチソースマルチホップ質問応答(QA)は自然言語処理における課題である。 既存の手法は、しばしばカスケードエラー、知識衝突の処理が不十分なこと、計算の非効率さに悩まされる。 パラメトリックおよび検索された知識を動的に融合する適応多元的知識指向推論(AMKOR)を提案する。
  論文  参考訳（メタデータ） (2025-02-09T16:06:43Z)
• Can MLLMs Reason in Multimodality? EMMA: An Enhanced MultiModal ReAsoning Benchmark [73.27104042215207]
  EMMAは,数学,物理,化学,コーディングにまたがる有機マルチモーダル推論を対象とするベンチマークである。 EMMAタスクは、各モードで独立に推論することで対処できない高度なクロスモーダル推論を要求する。 EMMA上での最先端MLLMの評価は、複雑なマルチモーダルおよびマルチステップ推論タスクの処理において、重大な制限を生じさせる。
  論文  参考訳（メタデータ） (2025-01-09T18:55:52Z)
• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Towards Robust Multi-Modal Reasoning via Model Selection [7.6621866737827045]
  LLMはエージェントの"脳"として機能し、協調的な多段階タスク解決のための複数のツールを編成する。 我々はテスト時に無視できるランタイムオーバーヘッドを持つプラグインとして、$textitM3$フレームワークを提案する。 実験の結果,我々のフレームワークは,ユーザ入力とサブタスク依存の両方を考慮した動的モデル選択を可能にすることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T16:06:18Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。