論文の概要: Done Is Better than Perfect: Unlocking Efficient Reasoning by Structured Multi-Turn Decomposition

• arxiv url: http://arxiv.org/abs/2505.19788v2
• Date: Thu, 05 Jun 2025 03:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.283161
• Title: Done Is Better than Perfect: Unlocking Efficient Reasoning by Structured Multi-Turn Decomposition
• Title（参考訳）: 完全性より優れている:構造化多軸分解による効率的な推論の解錠
• Authors: Zihao Zeng, Xuyao Huang, Boxiu Li, Hao Zhang, Zhijie Deng,
• Abstract要約: 大共振モデル (LRM) は、最終解を導出する長大なチェーン・オブ・ソート (CoT) に対して批判される。 本稿では,Multi-Turn Decomposition (MinD)を導入し,従来のCoTを明示的,構造化的,ターンワイドなインタラクションのシーケンスにデコードする。 MinDは、出力トークンの使用量と最初のトークンの時間(TTFT)の両方を最大70%削減することができる。
• 参考スコア（独自算出の注目度）: 11.858707687894757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Reasoning Models (LRMs) are criticized for the excessively lengthy Chain-of-Thought (CoT) to derive the final answer, suffering from high first-token and overall latency. Typically, the CoT of LRMs mixes multiple thinking units; each unit attempts to produce a candidate answer to the original query. Hence, a natural idea to improve efficiency is to reduce the unit number. Yet, the fact that the thinking units in vanilla CoT cannot be explicitly managed renders doing so challenging. This paper introduces Multi-Turn Decomposition (MinD) to decode conventional CoT into a sequence of explicit, structured, and turn-wise interactions to bridge the gap. In MinD, the model provides a multi-turn response to the query, where each turn embraces a thinking unit and yields a corresponding answer. The subsequent turns can reflect, verify, revise, or explore alternative approaches to both the thinking and answer parts of earlier ones. This not only makes the answer delivered more swiftly, but also enables explicit controls over the iterative reasoning process (i.e., users may halt or continue at any turn). We follow a supervised fine-tuning (SFT) then reinforcement learning (RL) paradigm to realize MinD. We first rephrase the outputs of an LRM into multi-turn formats by prompting another LLM, and then tune the LRM with such data. Observing that the tuned model tends to consume even more tokens than the original one (probably due to that the multi-turn formats introduce additional answer tokens), we advocate leveraging RL algorithms like GRPO to prioritize correct outputs with fewer turns. Trained on the MATH dataset using R1-Distill models, MinD can achieve up to ~70% reduction in both output token usage and time to first token (TTFT), while maintaining competitive performance on reasoning benchmarks such as MATH-500, AIME24, AMC23, and GPQA-Diamond.
• Abstract（参考訳）: 大規模推論モデル (LRM) は、非常に長いチェーン・オブ・ソート (CoT) によって最終回答を導出し、高いファーストトークンと全体的な遅延に悩まされているとして批判されている。 通常、LRMのCoTは複数の思考ユニットを混合し、各ユニットは元のクエリに対する候補回答を作成しようとする。 したがって、効率を改善するための自然なアイデアは、単位数を減らすことである。 しかし、バニラCoTの思考ユニットが明示的に管理できないという事実は、非常に難しい。 本稿では,従来のCoTを明示的,構造化的,ターンワイドな相互作用列にデコードしてギャップを埋めるために,Multi-Turn Decomposition(MinD)を提案する。 MinDでは、モデルはクエリに対するマルチターン応答を提供し、各ターンは思考ユニットを受け入れ、対応する回答を得る。 その後のターンは、以前のものに対する思考と答えの両方に対する代替アプローチを反映し、検証し、修正し、探求することができる。 これは、回答をより迅速に配信するだけでなく、反復的推論プロセスに対する明示的な制御を可能にする(つまり、ユーザーは任意のタイミングで停止または継続することができる)。 我々は、MinDを実現するために、教師付き微調整(SFT)、強化学習(RL)パラダイムに従う。 まず LRM の出力をマルチターン形式に書き直し、次に LLM をそのデータで調整する。 チューニングされたモデルは、元のものよりもさらに多くのトークンを消費する傾向にある(おそらくは、マルチターン形式が追加の応答トークンを導入しているためだろう)ことを観察し、GRPOのようなRLアルゴリズムを利用して、より少ないターンで正しい出力を優先順位付けすることを提唱する。 R1-Distillモデルを用いてMATHデータセットでトレーニングされたMinDは、MATH-500、AIME24、AMC23、GPQA-Diamondなどの推論ベンチマーク上での競合性能を維持しながら、出力トークンの使用量と第1トークンまでの時間の両方を最大70%削減することができる。

関連論文リスト

• Reinforced Latent Reasoning for LLM-based Recommendation [83.18146814163308]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)
• VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
  大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。 過度に考える傾向は、必然的に長い推論連鎖に繋がる。 我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
  論文  参考訳（メタデータ） (2025-05-23T14:17:56Z)
• Think-RM: Enabling Long-Horizon Reasoning in Generative Reward Models [50.4652276723694]
  Think-RMは、高度な機能をサポートするフレキシブルで自己誘導的な推論トレースを生成する。 Think-RM は RM-Bench 上で最先端の結果を達成し,BT RM と GenRM の垂直スケールを8% 上回った。
  論文  参考訳（メタデータ） (2025-05-22T05:56:11Z)
• Thinkless: LLM Learns When to Think [57.857534644932194]
  推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。 我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。 Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
  論文  参考訳（メタデータ） (2025-05-19T17:24:16Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• ReFT: Reasoning with Reinforced Fine-Tuning [9.80361828538909]
  本稿では,Reinforced Fine-Tuning (ReFT) というシンプルな手法を提案する。 ReFTはまずSFTを用いてモデルをウォームアップし,さらにオンライン強化学習,特に本論文のPPOアルゴリズムを用いる。 GSM8K、MathQA、SVAMPデータセットの実験では、ReFTがSFTを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-01-17T04:43:21Z)
• DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
  大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。 まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。 特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
  論文  参考訳（メタデータ） (2024-01-10T14:38:46Z)
• Training Chain-of-Thought via Latent-Variable Inference [30.21067593018967]
  大規模言語モデル(LLM)は、チェーン・オブ・シンクレットのプロンプトを使って解答ステップを実行するように指示されたときに、より正確かつ解釈可能な問題を解決する。 CoTと教師付きチューニングを組み合わせるには、正しい回答だけでなく、それらの答えにつながる詳細な根拠の監督が必要である。 そこで本研究では,CoTプロンプトを用いて正しい回答を生成することで,電子対数類似度を最大化するための微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-28T17:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。