論文の概要: AdaptThink: Reasoning Models Can Learn When to Think

• arxiv url: http://arxiv.org/abs/2505.13417v1
• Date: Mon, 19 May 2025 17:50:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.788834
• Title: AdaptThink: Reasoning Models Can Learn When to Think
• Title（参考訳）: AdaptThink: 推論モデルはいつ考えるべきかを学ぶことができる
• Authors: Jiajie Zhang, Nianyi Lin, Lei Hou, Ling Feng, Juanzi Li,
• Abstract要約: 本稿では,問題難易度に基づいて最適な思考モードを選択するために推論モデルを教える新しいRLアルゴリズムであるAdaptThinkを提案する。 実験の結果,AdaptThinkは推論コストを大幅に削減し,性能をさらに向上することが示された。
• 参考スコア（独自算出の注目度）: 42.77877234302026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, large reasoning models have achieved impressive performance on various tasks by employing human-like deep thinking. However, the lengthy thinking process substantially increases inference overhead, making efficiency a critical bottleneck. In this work, we first demonstrate that NoThinking, which prompts the reasoning model to skip thinking and directly generate the final solution, is a better choice for relatively simple tasks in terms of both performance and efficiency. Motivated by this, we propose AdaptThink, a novel RL algorithm to teach reasoning models to choose the optimal thinking mode adaptively based on problem difficulty. Specifically, AdaptThink features two core components: (1) a constrained optimization objective that encourages the model to choose NoThinking while maintaining the overall performance; (2) an importance sampling strategy that balances Thinking and NoThinking samples during on-policy training, thereby enabling cold start and allowing the model to explore and exploit both thinking modes throughout the training process. Our experiments indicate that AdaptThink significantly reduces the inference costs while further enhancing performance. Notably, on three math datasets, AdaptThink reduces the average response length of DeepSeek-R1-Distill-Qwen-1.5B by 53% and improves its accuracy by 2.4%, highlighting the promise of adaptive thinking-mode selection for optimizing the balance between reasoning quality and efficiency. Our codes and models are available at https://github.com/THU-KEG/AdaptThink.
• Abstract（参考訳）: 近年,人間のような深い思考を取り入れた大規模推論モデルが,様々なタスクにおいて顕著なパフォーマンスを実現している。 しかし、長い思考プロセスは推論オーバーヘッドを大幅に増加させ、効率を重要なボトルネックにする。 本研究では,まず,思考を省略し,最終解を直接生成する推論モデルであるNoThinkingが,性能と効率の両面で比較的単純なタスクに最適であることを示す。 そこで本研究では,問題難易度に基づいて最適な思考モードを選択するための推論モデルを提案する新しいRLアルゴリズムであるAdaptThinkを提案する。 特に、AdaptThinkは、(1)全体的なパフォーマンスを維持しながらモデルがNoThinkingを選択することを奨励する制約された最適化目標、(2)オンライントレーニング中の思考とNoThinkingサンプルのバランスをとる重要なサンプリング戦略、そして、コールドスタートを可能にし、トレーニングプロセスを通してモデルが両方の思考モードを探索し、活用できるようにする。 実験の結果,AdaptThinkは推論コストを大幅に削減し,性能をさらに向上することが示された。 特に3つの数学データセットにおいて、AdaptThinkはDeepSeek-R1-Distill-Qwen-1.5Bの平均応答長を53%削減し、その精度を2.4%向上させ、推論品質と効率のバランスを最適化するための適応的な思考モード選択の約束を強調している。 私たちのコードとモデルはhttps://github.com/THU-KEG/AdaptThink.comで公開されています。

関連論文リスト

• Thinkless: LLM Learns When to Think [57.857534644932194]
  推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。 我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。 Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
  論文  参考訳（メタデータ） (2025-05-19T17:24:16Z)
• AdaR1: From Long-CoT to Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization [86.56120216550232]
  適応的で効率的な推論のための新しい2段階のフレームワークを提案する。 まず、長いCoTモデルと短いCoTモデルを組み合わせてハイブリッド推論モデルを構築する。 第二に、モデルに適切な推論スタイルを選択するための2段階の選好訓練を適用する。
  論文  参考訳（メタデータ） (2025-04-30T14:01:45Z)
• VL-Rethinker: Incentivizing Self-Reflection of Vision-Language Models with Reinforcement Learning [55.97950660659051]
  我々は(蒸留に頼らずに)強化学習による視覚言語モデルの遅い思考能力の向上を目指す。 我々は、RLトレーニングにおけるロールアウトの最後に再考トリガートークンを付加し、自己回帰推論ステップを明示的に実施する強制再考(Forced Rethinking)を導入する。 我々のモデルであるVL-Rethinkerは、MathVista、MathVerseの最先端スコアを80.4%、63.5%に向上させています。
  論文  参考訳（メタデータ） (2025-04-10T17:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。