論文の概要: Leveraging Constrained Monte Carlo Tree Search to Generate Reliable Long Chain-of-Thought for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2502.11169v1
• Date: Sun, 16 Feb 2025 15:39:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:53.270996
• Title: Leveraging Constrained Monte Carlo Tree Search to Generate Reliable Long Chain-of-Thought for Mathematical Reasoning
• Title（参考訳）: 制約付きモンテカルロ木探索による数学的推論のための信頼性の高い長鎖パターンの生成
• Authors: Qingwen Lin, Boyan Xu, Zijian Li, Zhifeng Hao, Keli Zhang, Ruichu Cai,
• Abstract要約: Long Chain-of-Thoughts (CoTs) は、Large Language Models (LLMs) の推論能力を改善するために広く注目を集めている。 本稿では, 動作空間の制約とLong CoTsの出現を, 洗練された探索戦略によって導くことを提案する。 提案手法により,72Bモデルを超える推論能力を 7B モデルで実現できる。
• 参考スコア（独自算出の注目度）: 21.71105748608989
• License:
• Abstract: Recently, Long Chain-of-Thoughts (CoTs) have gained widespread attention for improving the reasoning capabilities of Large Language Models (LLMs). This necessitates that existing LLMs, which lack the ability to generate Long CoTs, to acquire such capability through post-training methods. Without additional training, LLMs typically enhance their mathematical reasoning abilities through inference scaling methods such as MCTS. However, they are hindered by the large action space and inefficient search strategies, making it challenging to generate Long CoTs effectively. To tackle this issue, we propose constraining the action space and guiding the emergence of Long CoTs through a refined search strategy. In our proposed Constrained Monte Carlo Tree Search (C-MCTS) framework, we limit the actions selected from a constrained action space, which is divided into five disjoint subsets: \emph{understanding}, \emph{planning}, \emph{reflection}, \emph{coding}, and \emph{summary}. Each subset is further constrained to a small number of predefined prompts, rather than allowing LLMs to generate actions arbitrarily. Additionally, we refine the search strategy by incorporating prior knowledge about the action sets, such as a human-like partial order of the action subsets and the pretrained process reward models. These strategies work together to significantly reduce the vast search space of Long CoTs. Extensive evaluations on mathematical reasoning benchmarks show that, under zero-shot settings, our method enables the 7B model to achieve reasoning capabilities that surpass those of the 72B model.
• Abstract（参考訳）: 近年,Long Chain-of-Thoughts (CoTs) は,Large Language Models (LLMs) の推論能力の向上に注目されている。 このことは、Long CoTの生成能力に欠ける既存のLLMが、ポストトレーニング手法によってそのような能力を取得する必要がある。 追加のトレーニングがなければ、LCMはMCTSのような推論スケーリング手法を通じて、数学的推論能力を高めるのが一般的である。 しかし、それらは大きな行動空間と非効率的な探索戦略に妨げられ、Long CoTを効果的に生成することは困難である。 この問題に対処するために、我々は、洗練された検索戦略により、アクション空間を制約し、Long CoTsの出現を導くことを提案する。 提案したConstrained Monte Carlo Tree Search (C-MCTS) フレームワークでは,制約された作用空間から選択された動作を,5つの非結合部分集合, \emph{understanding}, \emph{planning}, \emph{reflection}, \emph{coding}, \emph{summary} に制限する。 各サブセットは、LCMが任意にアクションを生成するのではなく、少数の事前定義されたプロンプトにさらに制約される。 さらに,動作集合に関する事前知識,例えば,動作サブセットの部分順序や事前訓練プロセス報酬モデルなどを組み込むことで,探索戦略を洗練する。 これらの戦略は、Long CoTsの膨大な検索スペースを大幅に削減するために協力する。 数式推論ベンチマークの大規模な評価は,ゼロショット設定下では,72Bモデルを超える推論能力を 7B モデルで実現できることを示す。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
  CoT推論は大規模言語モデル(LLM)の多段階推論能力を高める しかし、ほとんどのモデルやタスクでは、CoT長の増加は一貫して推論精度の向上につながりますか? 本稿では, 推論ステップの数が増加するにつれて, 性能は向上するが, 最終的には低下する,というニュアンスな関係を観察する。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• Policy Guided Tree Search for Enhanced LLM Reasoning [3.090041654375235]
  Policy-Guided Tree Search (PGTS)は、強化学習と構造化木探索を組み合わせて推論経路を効率的にナビゲートするフレームワークである。 私たちの重要なイノベーションは、手作業や徹底的な検索の必要性をなくし、拡大、分岐、追跡、探索の終了を動的に決定する、学習されたポリシーです。
  論文  参考訳（メタデータ） (2025-02-04T22:08:20Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Break the Chain: Large Language Models Can be Shortcut Reasoners [18.047917626825548]
  CoT(Chain-of-Thought)推論は複雑なモジュールを利用するが、高いトークン消費、適用可能性の制限、思考上の課題によって妨げられる。 本稿では、複雑な論理的および常識的推論タスクを含む算術を超えて、CoTプロンプトの批判的評価を行う。 そこで我々は,「チェーンを破る」戦略を通じて,人型やショートカットを言語モデル(LM)に統合することを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:02:53Z)
• Sci-CoT: Leveraging Large Language Models for Enhanced Knowledge Distillation in Small Models for Scientific QA [5.117094291273979]
  大規模言語モデル(LLM)は、幅広い下流タスクで優れたパフォーマンスを示している。 本稿では2段階のフレームワークであるSci-CoTを提案する。 我々の8000万のパラメータモデルは、いくつかのショット設定の下でARC-EasyデータセットにおけるBLOOM-176Bの性能を上回ることができる。
  論文  参考訳（メタデータ） (2023-08-09T03:18:07Z)
• Continuous Monte Carlo Graph Search [61.11769232283621]
  連続モンテカルログラフサーチ(Continuous Monte Carlo Graph Search, CMCGS)は、モンテカルログラフサーチ(MCTS)のオンラインプランニングへの拡張である。 CMCGSは、計画中、複数の州で同じ行動方針を共有することで高いパフォーマンスが得られるという洞察を生かしている。 並列化によってスケールアップすることができ、学習力学モデルによる連続制御においてクロスエントロピー法(CEM)よりも優れている。
  論文  参考訳（メタデータ） (2022-10-04T07:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。