論文の概要: Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models

• arxiv url: http://arxiv.org/abs/2510.10104v1
• Date: Sat, 11 Oct 2025 08:32:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.785005
• Title: Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models
• Title（参考訳）: マルチモーダルなLangaugeモデルに対する一貫した強化学習
• Authors: Minbin Huang, Runhui Huang, Chuanyang Zheng, Jingyao Li, Guoxuan Chen, Han Shi, Hong Cheng,
• Abstract要約: 本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
• 参考スコア（独自算出の注目度）: 33.398631680508814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have demonstrated that reinforcement learning with verifiable rewards (RLVR) can significantly enhance reasoning abilities by directly optimizing correctness, rather than relying solely on supervised imitation. This paradigm has been extended to multimodal LLMs for complex video and image understanding tasks. However, while outcome-driven RL improves answer accuracy, it can inadvertently decouple the reasoning chain from the final answer, leading to situations where models produce inconsistency between the reasoning trace and final answer. In our experiments on multiple-choice visual question-answering tasks, the standard GRPO method yields only 79.7\% consistency on MMVU between the reasoning steps and the chosen answers, indicating frequent mismatches between answers and reasoning. To this end, we propose Answer-Consistent Reinforcement Learning (ACRE) that modifies the GRPO algorithm with an auxiliary consistency check. After the model generates a chain of thought and an initial answer for a given question, we shuffle the answer options and prompt the model again with the same reasoning trace to predict a second answer. We design a consistency-verification reward that grants a high reward only if both the original and the post-shuffle answers agree and are correct; otherwise, a lower reward is assigned accordingly. This mechanism penalizes reasoning-answer misalignment and discourages the model from relying on spurious patterns, such as option ordering biases. We evaluate ACRE on challenging Video Reasoning benchmarks and multimodal math reasoning benchmarks, achieving an average 2.2\% and 1.5\% improvement for Video Reasoning and Math Reasoning tasks over the GRPO baseline.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、教師付き模倣にのみ依存するのではなく、直接的に正しさを最適化することで、検証可能な報酬(RLVR)による強化学習が推論能力を大幅に向上させることを実証している。 このパラダイムは、複雑なビデオおよび画像理解タスクのためのマルチモーダルLLMに拡張されている。 しかし、結果駆動RLは答えの精度を向上するが、最終回答から必然的に推論チェーンを分離し、モデルが推論トレースと最終回答の間に矛盾を生じさせる状況に繋がる。 複数選択型視覚質問応答タスクの実験では,標準的なGRPO法では,解答と解答の間に79.7 %の整合性しか得られず,解答と解答のミスマッチが頻発している。 そこで本研究では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learning (ACRE)を提案する。 モデルが与えられた質問に対する思考の連鎖と最初の答えを生成した後、解答オプションをシャッフルし、同じ推論トレースで再度モデルに促し、第2の解答を予測する。 我々は、原文と後段の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計し、そうでなければ、低い報酬がそれに従って割り当てられる。 このメカニズムは、推論と回答のミスアライメントを罰し、オプション順序のバイアスのような急激なパターンに依存しないようにします。 我々は、ビデオ推論と数学推論のタスクをGRPOベースライン上で平均2.2 %、1.5 %改善し、挑戦的なビデオ推論ベンチマークとマルチモーダルな数学推論ベンチマークでACREを評価した。

関連論文リスト

• Boosting Process-Correct CoT Reasoning by Modeling Solvability of Multiple-Choice QA [10.122669382758122]
  モデルに対して質問が効果的に解決できない場合、思考の急激な連鎖(CoT)が出現しがちであることを示す。 結果監督型報酬モデルと強化学習をグループ相対的優位性で適用し,その目的に可解性を取り入れた。 本結果は,CoT推論における幻覚の低減と信頼性向上の鍵要因として可溶性を強調した。
  論文  参考訳（メタデータ） (2025-09-30T08:34:16Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• Chain-of-Probe: Examining the Necessity and Accuracy of CoT Step-by-Step [81.50681925980135]
  モデル推論における心の変化を探索する手法を提案する。 心的変化のパターンを解析することにより,モデルの推論の正しさを検証した。 我々の検証では、最終回答では正しいが、多くの応答が推論プロセスに誤りを含んでいることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-23T15:50:22Z)
• Question Decomposition Improves the Faithfulness of Model-Generated Reasoning [23.34325378824462]
  大規模言語モデル(LLM)は、その振る舞いの正しさと安全性を検証するのが困難である。 一つのアプローチは、LLMが質問に答えるときにステップバイステップの推論を生成することによって、彼らの推論を外部化するように促すことである。 このアプローチは、モデルの実的推論を忠実に反映する記述された推論に依存しており、必ずしもそうではない。 分解に基づく手法は、時にはCoTの手法に近づき、質問応答タスクにおいて高い性能を達成する。
  論文  参考訳（メタデータ） (2023-07-17T00:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。