論文の概要: Construting Reverse Thinking: Developing Large Language Models' Reverse Thingking Ability

• arxiv url: http://arxiv.org/abs/2609.24760v1
• Date: Mon, 21 Sep 2026 15:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.012311
• Title: Construting Reverse Thinking: Developing Large Language Models' Reverse Thingking Ability
• Title（参考訳）: 逆思考の強化: 大規模言語モデルの逆思考能力向上
• Abstract要約: GPT-o1、GPT-o3、DeepSeek-R1は、推論深度を増大させることで複雑な問題に対処するために長い連鎖モデルを採用する。 モデルの逆思考能力と動的証明を高めることを目的とした逆推論パターン構築法を提案する。 モデルが思考モードを自律的に選択する能力を強化するために、スムーズな報酬信号を利用する、きめ細かい報酬メカニズムが開発されている。
• 参考スコア（独自算出の注目度）: 9.120914164159963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When facing complex problems, humans tend to try various ideas for different issues. Human thinking patterns exhibit remarkable flexibility in adapting to diverse scenarios. GPT-o1, GPT-o3, and DeepSeek-R1 adopt long chain-of-thought models to address complex problems by increasing reasoning depth, which default to a forward reasoning mode. We conducted statistical analysis on the accuracy of different mathematical problem datasets on models of different scales, and found five reasons for errors: Insufficient solution-space coverage, Computational mistakes, Unverified assumptions, Ignoring constraint conditions, Maximum response length limitation. To address the above issues, we proposed a backward reasoning pattern construction method aimed at enhancing the model's reverse thinking ability and dynamic adaptability. First, we constructed an easy-hard two-stage Math dataset for training large models and gradually improving their inference ability at different difficulty levels. The dataset contains forward reasoning paths as well as backward reasoning paths. And a two-stage supervised fine-tuning process is applied to progressively train the model's backward reasoning capability. Furthermore, a fine-grained reward mechanism is developed, employing smoothed reward signals to strengthen the model's ability to autonomously select thinking modes during the reasoning process, thereby avoiding reward hacking. A linear-decay balanced sampling strategy is designed to maintain a balance between forward and backward reasoning path samples during training, enabling the model to converge quickly and stably. Experimental results show that our method significantly improves reasoning efficiency and accuracy in tasks such as mathematical proofs, offering a flexible and efficient reasoning paradigm for solving complex problems.
• Abstract（参考訳）: 複雑な問題に直面しているとき、人間は様々な問題に対して様々な考えを試す傾向がある。 人間の思考パターンは、多様なシナリオに適応する際、顕著な柔軟性を示す。 GPT-o1、GPT-o3、DeepSeek-R1は、フォワード推論モードでデフォルトとなる推論深度を増大させることで、複雑な問題に対処するための長いチェーンモデルを採用する。 異なるスケールのモデルで異なる数学的問題データセットの精度を統計的に分析し、不十分な解空間カバレッジ、計算ミス、不確実な仮定、制約条件の無視、最大応答長制限の5つの原因を見出した。 以上の課題に対処するために,モデルの逆思考能力と動的適応性を高めることを目的とした後方推論パターン構築手法を提案する。 まず,大規模モデルをトレーニングし,異なる難易度で推論能力を徐々に向上させるため,簡単な2段階のMathデータセットを構築した。 データセットには前方推論パスと後方推論パスが含まれている。 そして、2段階の教師付き微調整プロセスを適用して、モデルの後方推論能力を段階的に訓練する。 さらに、スムーズな報酬信号を用いて、推論プロセス中に思考モードを自律的に選択するモデルの能力を強化し、報酬ハッキングを回避するための微粒な報酬メカニズムを開発する。 線形デカイバランスサンプリング戦略は、トレーニング中に前方から後方への推論経路のサンプルのバランスを維持するために設計され、モデルが迅速かつ安定に収束することを可能にする。 実験結果から,本手法は数学的証明などのタスクにおける推論効率と精度を大幅に向上し,複雑な問題を解くためのフレキシブルで効率的な推論パラダイムを提供することが示された。

関連論文リスト

• To Think or Not To Think, That is The Question for Large Reasoning Models in Theory of Mind Tasks [56.11584171938381]
  心の理論 (ToM) は、モデルが信念、欲望、意図などの隠された精神状態を推測できるかどうかを評価する。 近年のLRM(Large Reasoning Models)の進歩により、数学やコーディングにおけるステップバイステップ推論が向上している。 本研究では,9つの大規模言語モデル(LLM)の体系的研究を行い,推論モデルと非推論モデルを比較した。
  論文  参考訳（メタデータ） (2026-02-11T08:16:13Z)
• Explore Briefly, Then Decide: Mitigating LLM Overthinking via Cumulative Entropy Regulation [82.62935304152239]
  大規模言語モデル(LLM)は、長いチェーン・オブ・ソート(CoT)推論を用いた複雑な問題に対する顕著な推論能力を示した。 しばしば過度の思考に悩まされ、単純な問題に対して必要以上に長い推論ステップが生じる。 本稿では, 推論過程を通じて探索範囲を計測する新しい計量量であるToken Entropy Cumulative Average(TECA)を紹介する。
  論文  参考訳（メタデータ） (2025-10-02T17:36:50Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Less is More Tokens: Efficient Math Reasoning via Difficulty-Aware Chain-of-Thought Distillation [82.2288581878096]
  本稿では,問題複雑性に基づいてモデルに推論深度を動的に調整する難易度推論の枠組みを提案する。 モデルにそのような動的推論経路を与えることができ、アーキテクチャ上の変更を加えることなく実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-09-05T16:40:13Z)
• Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling [60.63703438729223]
  異なるアーキテクチャとトレーニング手法がモデル多段階推論能力にどのように影響するかを示す。 我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。
  論文  参考訳（メタデータ） (2025-08-22T18:57:08Z)
• AdapThink: Adaptive Thinking Preferences for Reasoning Language Model [32.47427081297578]
  強化学習(RL)に基づくポストトレーニングは、言語モデルの複雑な推論能力を大幅に向上させた。 しかし、この緩やかな思考のパラダイムは、効率を推理する上で重要な課題である。 より効率的な思考を促すために,適応的なポストトレーニングフレームワークAdapThinkを提案する。
  論文  参考訳（メタデータ） (2025-06-23T02:06:04Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• Self-Evolved Preference Optimization for Enhancing Mathematical Reasoning in Small Language Models [17.673293240849787]
  我々は、小言語モデル(SLM)における推論を強化する自己進化型データ生成パイプラインSPHEREを紹介する。 SPHEREは、 (i) 自己生成(Self-Generation)、 (ii) 自己補正(Self-Correction)、 (iii) 多様性誘導(diversity induction)、そして、複数の有効な推論軌道を通じて堅牢性を改善する。 本研究では,SPHERE学習モデルがベースバージョンよりも大幅に向上し,特定のベンチマークでGPT-4oにマッチすることを示す。
  論文  参考訳（メタデータ） (2025-03-04T14:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。