論文の概要: Learning Deliberately, Acting Intuitively: Unlocking Test-Time Reasoning in Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2507.06999v1
• Date: Wed, 09 Jul 2025 16:25:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.672443
• Title: Learning Deliberately, Acting Intuitively: Unlocking Test-Time Reasoning in Multimodal LLMs
• Title（参考訳）: 直感的に学習する:マルチモーダルLLMにおけるテスト時間推論の解錠
• Authors: Yahan Yu, Yuyang Dong, Masafumi Oyamada,
• Abstract要約: Deliberate-to-Intuitive reasoning framework (D2I)はマルチモーダル言語モデルの理解と推論能力を改善する。 本手法は,学習中の規則に基づく形式報酬のみを通じて,モダリティアライメントを高めるための意図的な推論戦略を定めている。 評価中、推論スタイルは直感に移行し、トレーニング中の意図的な推論戦略を取り除き、モデルが獲得した応答能力を暗黙的に反映する。
• 参考スコア（独自算出の注目度）: 7.501387372794562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning is a key capability for large language models (LLMs), particularly when applied to complex tasks such as mathematical problem solving. However, multimodal reasoning research still requires further exploration of modality alignment and training costs. Many of these approaches rely on additional data annotation and relevant rule-based rewards to enhance the understanding and reasoning ability, which significantly increases training costs and limits scalability. To address these challenges, we propose the Deliberate-to-Intuitive reasoning framework (D2I) that improves the understanding and reasoning ability of multimodal LLMs (MLLMs) without extra annotations and complex rewards. Specifically, our method sets deliberate reasoning strategies to enhance modality alignment only through the rule-based format reward during training. While evaluating, the reasoning style shifts to intuitive, which removes deliberate reasoning strategies during training and implicitly reflects the model's acquired abilities in the response. D2I outperforms baselines across both in-domain and out-of-domain benchmarks. Our findings highlight the role of format reward in fostering transferable reasoning skills in MLLMs, and inspire directions for decoupling training-time reasoning depth from test-time response flexibility.
• Abstract（参考訳）: 推論は大規模言語モデル(LLM)の重要な機能であり、特に数学的な問題解決のような複雑なタスクに適用する場合に重要である。 しかし、マルチモーダル推論の研究には、モダリティアライメントとトレーニングコストのさらなる探究が必要である。 これらのアプローチの多くは、トレーニングコストを大幅に増加させスケーラビリティを制限する、理解と推論能力を高めるために、追加のデータアノテーションと関連するルールベースの報酬に依存しています。 これらの課題に対処するため、アノテーションや複雑な報酬を伴わずにマルチモーダルLLM(MLLM)の理解と推論能力を向上するD2I(Deliberate-to-Intuitive reasoning framework)を提案する。 具体的には、トレーニング中にルールベースの形式報酬によってのみモダリティアライメントを高めるために、意図的な推論戦略を設定する。 評価中、推論スタイルは直感に移行し、トレーニング中の意図的な推論戦略を取り除き、モデルが獲得した応答能力を暗黙的に反映する。 D2Iはドメイン内ベンチマークとドメイン外ベンチマークの両方でベースラインを上回ります。 本研究は,MLLMにおけるトランスファー可能な推論スキルの育成における形式報酬の役割を強調し,テスト時間応答の柔軟性からトレーニング時間推論の深度を分離するための方向性を示唆した。

関連論文リスト

• LogicPuzzleRL: Cultivating Robust Mathematical Reasoning in LLMs via Reinforcement Learning [29.047063129464494]
  大規模言語モデル(LLM)は多くの教師付きタスクで優れるが、よくなじみのない設定で構造化された推論に悩まされる。 この矛盾は、標準的な微調整パイプラインが汎用的な思考戦略を育むのではなく、狭く、ドメイン固有のものを注入する可能性があることを示唆している。 本研究では,7つのカスタム論理パズルの組による強化学習を通じて,LLMを微調整する「学習のための遊び」フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-05T09:40:47Z)
• SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning [25.02860760920562]
  MLLM(Multimodal large language model)は、タスク推論において有望な能力を示すが、明示的な自己回帰と自己補正を必要とする複雑な問題に悩まされている。 既存のリフレクション手法は単純で、意味のあるインストラクティブフィードバックを生成するのに苦労している。 本稿では,2段階のリフレクション対応強化学習フレームワークであるグループ相対ポリシー最適化 (SRPO) を用いたマルチモーダル自己回帰強化推論を提案する。
  論文  参考訳（メタデータ） (2025-06-02T14:21:44Z)
• Incentivizing Dual Process Thinking for Efficient Large Language Model Reasoning [75.04643265875072]
  大規模推論モデル(LRM)は複雑な推論タスクに対して強い性能を示してきたが、しばしば過度に考えることに悩まされている。 認知科学における二重プロセス理論に着想を得て,適応認知政策最適化を提案する。 ACPOは、適応的な認知アロケーションと動的システムスイッチによって、LRMの効率的な推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-22T07:15:08Z)
• Learning to Reason via Mixture-of-Thought for Logical Reasoning [56.24256916896427]
  Mixture-of-Thought (MoT) は、LLMが自然言語、コード、真理表の3つの相補的なモダリティにまたがる推論を可能にするフレームワークである。 MoT は,(1) 自己進化型 MoT トレーニング,(2) 3 つのモーダルの相乗効果を完全に活用してより良い予測を生成する MoT 推論,という2段階の設計を採用する。
  論文  参考訳（メタデータ） (2025-05-21T17:59:54Z)
• When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs [16.659986373052217]
  連鎖推論は命令追従精度を著しく低下させる。 これは、推論によって引き起こされる命令追従の失敗を体系的に公開する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-16T16:36:00Z)
• Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
  推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。 大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。 本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
  論文  参考訳（メタデータ） (2025-04-04T04:04:56Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。