論文の概要: VisuoThink: Empowering LVLM Reasoning with Multimodal Tree Search

• arxiv url: http://arxiv.org/abs/2504.09130v1
• Date: Sat, 12 Apr 2025 08:37:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:10.174134
• Title: VisuoThink: Empowering LVLM Reasoning with Multimodal Tree Search
• Title（参考訳）: VisuoThink:マルチモーダルツリーサーチによるLVLM推論の強化
• Authors: Yikun Wang, Siyin Wang, Qinyuan Cheng, Zhaoye Fei, Liang Ding, Qipeng Guo, Dacheng Tao, Xipeng Qiu,
• Abstract要約: VisuoThinkは、視覚空間と言語ドメインをシームレスに統合する新しいフレームワークである。 プログレッシブなビジュアルテキスト推論を可能にし、ルックアヘッドツリーサーチによるテストタイムスケーリングを組み込む。
• 参考スコア（独自算出の注目度）: 89.43196232124883
• License:
• Abstract: Recent advancements in Large Vision-Language Models have showcased remarkable capabilities. However, they often falter when confronted with complex reasoning tasks that humans typically address through visual aids and deliberate, step-by-step thinking. While existing methods have explored text-based slow thinking or rudimentary visual assistance, they fall short of capturing the intricate, interleaved nature of human visual-verbal reasoning processes. To overcome these limitations and inspired by the mechanisms of slow thinking in human cognition, we introduce VisuoThink, a novel framework that seamlessly integrates visuospatial and linguistic domains. VisuoThink facilitates multimodal slow thinking by enabling progressive visual-textual reasoning and incorporates test-time scaling through look-ahead tree search. Extensive experiments demonstrate that VisuoThink significantly enhances reasoning capabilities via inference-time scaling, even without fine-tuning, achieving state-of-the-art performance in tasks involving geometry and spatial reasoning.
• Abstract（参考訳）: 近年の大型ビジョンランゲージモデルの進歩は目覚ましい能力を示した。 しかし、視覚的援助や意図的なステップバイステップ思考を通じて人間が対処する複雑な推論タスクに直面した時に、しばしば混乱する。 既存の手法では、テキストベースのスロー思考や初歩的な視覚支援を探索しているが、人間の視覚言語推論プロセスの複雑でインターリーブな性質を捉えていない。 これらの制限を克服し、人間の認知におけるスローシンキングのメカニズムに触発され、視覚空間的および言語的ドメインをシームレスに統合する新しいフレームワークであるVisuoThinkを紹介した。 VisuoThinkは、プログレッシブなビジュアルテキスト推論を可能にすることで、マルチモーダルなスロー思考を促進し、ルックアヘッドツリーサーチによるテストタイムスケーリングを取り入れている。 大規模な実験により、ViusioThinkは微調整なしでも推論時間スケーリングによる推論能力を大幅に向上し、幾何学的推論や空間的推論を含むタスクにおいて最先端のパフォーマンスを達成することが示されている。

関連論文リスト

• Imagine while Reasoning in Space: Multimodal Visualization-of-Thought [70.74453180101365]
  大型言語モデル(LLM)とマルチモーダル大規模言語モデル(MLLM)の複雑な推論を強化するために、CoTプロンプト(Chain-of-Thought)が有効であることが証明された。 我々は新しい推論パラダイムであるMultimodal Visualization-of-Thought (MVoT)を提案する。 MLLMにおいて、推論トレースの画像視覚化を生成することにより、視覚的思考を可能にする。
  論文  参考訳（メタデータ） (2025-01-13T18:23:57Z)
• Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
  RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。 実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
  論文  参考訳（メタデータ） (2025-01-08T18:31:16Z)
• Think More, Hallucinate Less: Mitigating Hallucinations via Dual Process of Fast and Slow Thinking [124.69672273754144]
  HaluSearchは、ツリー検索ベースのアルゴリズムを組み込んだ新しいフレームワークである。 テキスト生成をステップバイステップの推論プロセスとしてフレーム化する。 認知科学における二重プロセス理論に着想を得た階層的思考システムスイッチ機構を導入する。
  論文  参考訳（メタデータ） (2025-01-02T15:36:50Z)
• Dual Thinking and Logical Processing -- Are Multi-modal Large Language Models Closing the Gap with Human Vision ? [5.076961098583674]
  我々は、人間の視覚における二重思考の枠組みの証拠を提供するために、新しい敵対的データセットを導入する。 私たちの精神物理学的な研究は、急速に続く複数の推論の存在を示しています。 エラーの解析は、視覚処理の早期停止は、関連する情報が欠落する可能性があることを示している。
  論文  参考訳（メタデータ） (2024-06-11T05:50:34Z)
• Mind's Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models [71.93366651585275]
  大規模言語モデル(LLM)は、言語理解と様々な推論タスクにおいて印象的な性能を示した。 本稿では,LLMの空間的推論を視覚的に行うために,VoT(Visual-of-Thought)を提案する。 VoTはLLMの空間的推論能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-04T17:45:08Z)
• What if...?: Thinking Counterfactual Keywords Helps to Mitigate Hallucination in Large Multi-modal Models [50.97705264224828]
  大規模マルチモーダルモデルに反現実的思考を組み込む新しい手法である反現実的インセプションを提案する。 我々は、より広い文脈のシーン理解にまたがる応答をモデルが関与し、生成することを目指している。 オープンソースモデルとプロプライエタリモデルの両方を含む様々なLMMの包括的分析は、反事実的思考が幻覚を著しく減少させることを裏付ける。
  論文  参考訳（メタデータ） (2024-03-20T11:27:20Z)
• Visual cognition in multimodal large language models [12.603212933816206]
  近年の進歩は、人間のような認知能力をエミュレートする可能性への関心を再燃させた。 本稿では、直観物理学、因果推論、直観心理学の分野における視覚に基づく大規模言語モデルの現状を評価する。
  論文  参考訳（メタデータ） (2023-11-27T18:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。