論文の概要: Progressive Multimodal Reasoning via Active Retrieval

• arxiv url: http://arxiv.org/abs/2412.14835v1
• Date: Thu, 19 Dec 2024 13:25:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 18:44:16.139733
• Title: Progressive Multimodal Reasoning via Active Retrieval
• Title（参考訳）: アクティブ検索によるプログレッシブマルチモーダル推論
• Authors: Guanting Dong, Chenghao Zhang, Mengjie Deng, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen,
• Abstract要約: 多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
• 参考スコア（独自算出の注目度）: 64.74746997923967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-step multimodal reasoning tasks pose significant challenges for multimodal large language models (MLLMs), and finding effective ways to enhance their performance in such scenarios remains an unresolved issue. In this paper, we propose AR-MCTS, a universal framework designed to progressively improve the reasoning capabilities of MLLMs through Active Retrieval (AR) and Monte Carlo Tree Search (MCTS). Our approach begins with the development of a unified retrieval module that retrieves key supporting insights for solving complex reasoning problems from a hybrid-modal retrieval corpus. To bridge the gap in automated multimodal reasoning verification, we employ the MCTS algorithm combined with an active retrieval mechanism, which enables the automatic generation of step-wise annotations. This strategy dynamically retrieves key insights for each reasoning step, moving beyond traditional beam search sampling to improve the diversity and reliability of the reasoning space. Additionally, we introduce a process reward model that aligns progressively to support the automatic verification of multimodal reasoning tasks. Experimental results across three complex multimodal reasoning benchmarks confirm the effectiveness of the AR-MCTS framework in enhancing the performance of various multimodal models. Further analysis demonstrates that AR-MCTS can optimize sampling diversity and accuracy, yielding reliable multimodal reasoning.
• Abstract（参考訳）: マルチステップのマルチモーダル推論タスクは、マルチモーダルな大規模言語モデル(MLLM)に重大な課題を生じさせ、そのようなシナリオでそれらの性能を高める効果的な方法を見つけることは、未解決の問題である。 本稿では,Active Retrieval (AR) とMonte Carlo Tree Search (MCTS) によるMLLMの推論能力の向上を目的とした汎用フレームワークであるAR-MCTSを提案する。 提案手法は,複合モーダル検索コーパスから複雑な推論問題を解くための重要な知識を抽出する統合検索モジュールの開発から始まる。 自動マルチモーダル推論検証のギャップを埋めるために,MCTSアルゴリズムとアクティブ検索機構を組み合わせることで,ステップワイズアノテーションの自動生成を可能にする。 この戦略は、従来のビームサーチサンプリングを超えて、推論空間の多様性と信頼性を向上させるために、推論ステップ毎に重要な洞察を動的に取得する。 さらに,マルチモーダル推論タスクの自動検証を支援するために,段階的に協調するプロセス報酬モデルを導入する。 3つの複雑なマルチモーダル推論ベンチマークによる実験結果から,様々なマルチモーダルモデルの性能向上におけるAR-MCTSフレームワークの有効性が確認された。 さらなる分析により、AR-MCTSはサンプリングの多様性と精度を最適化し、信頼性の高いマルチモーダル推論が得られることが示された。

関連論文リスト

• Reinforced MLLM: A Survey on RL-Based Reasoning in Multimodal Large Language Models [22.796496516709514]
  本調査は,RLに基づく多モーダル大言語モデルの推論の最近の進歩を体系的にレビューする。 我々は、RLの2つの主要なパラダイム、--value-free と value-based method を強調し、RLが推論能力をどのように強化するかを分析する。 ベンチマークデータセット、評価プロトコル、既存の制限について概観する。
  論文  参考訳（メタデータ） (2025-04-30T03:14:28Z)
• Knowledge-Aware Iterative Retrieval for Multi-Agent Systems [0.0]
  本稿では,新しい大規模言語モデル (LLM) によるエージェントフレームワークを提案する。 動的に進化する知識を活用することで、クエリを反復的に洗練し、文脈的証拠をフィルタリングする。 提案システムは、更新されたコンテキストの競合的および協調的な共有をサポートする。
  論文  参考訳（メタデータ） (2025-03-17T15:27:02Z)
• Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey [124.23247710880008]
  マルチモーダルCoT (MCoT) 推論は近年大きな研究の注目を集めている。 既存のMCoT研究は、画像、ビデオ、音声、オーディオ、3D、構造化データの課題に対処する様々な手法を設計している。 我々はMCoT推論に関する最初の体系的な調査を行い、関連する基礎概念と定義を解明する。
  論文  参考訳（メタデータ） (2025-03-16T18:39:13Z)
• Multi-LLM Collaborative Search for Complex Problem Solving [54.194370845153784]
  そこで我々は,Mixture-of-Search-Agents(MoSA)パラダイムを提案する。 MoSAは、独立した探索とLCM間の反復的精錬を組み合わせることで、様々な推論経路を統合する。 モンテカルロ木探索(MCTS)をバックボーンとして使用することにより、複数のエージェントが推論ステップを提案して集約することが可能となり、精度が向上する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:04Z)
• Can MLLMs Reason in Multimodality? EMMA: An Enhanced MultiModal ReAsoning Benchmark [73.27104042215207]
  EMMAは,数学,物理,化学,コーディングにまたがる有機マルチモーダル推論を対象とするベンチマークである。 EMMAタスクは、各モードで独立に推論することで対処できない高度なクロスモーダル推論を要求する。 EMMA上での最先端MLLMの評価は、複雑なマルチモーダルおよびマルチステップ推論タスクの処理において、重大な制限を生じさせる。
  論文  参考訳（メタデータ） (2025-01-09T18:55:52Z)
• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Towards Robust Multi-Modal Reasoning via Model Selection [7.6621866737827045]
  LLMはエージェントの"脳"として機能し、協調的な多段階タスク解決のための複数のツールを編成する。 我々はテスト時に無視できるランタイムオーバーヘッドを持つプラグインとして、$textitM3$フレームワークを提案する。 実験の結果,我々のフレームワークは,ユーザ入力とサブタスク依存の両方を考慮した動的モデル選択を可能にすることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T16:06:18Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。