論文の概要: Unifying Tree Search Algorithm and Reward Design for LLM Reasoning: A Survey

• arxiv url: http://arxiv.org/abs/2510.09988v1
• Date: Sat, 11 Oct 2025 03:29:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.724268
• Title: Unifying Tree Search Algorithm and Reward Design for LLM Reasoning: A Survey
• Title（参考訳）: LLM推論のための木探索アルゴリズムの統一とリワード設計:サーベイ
• Authors: Jiaqi Wei, Xiang Zhang, Yuejin Yang, Wenxuan Huang, Juntai Cao, Sheng Xu, Xiang Zhuang, Zhangyang Gao, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Chenyu You, Wanli Ouyang, Siqi Sun,
• Abstract要約: 線形木探索はLarge Language Model (LLM) 研究の基盤となっている。 本稿では,検索アルゴリズムを3つのコアコンポーネントに分解する統合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 92.71325249013535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deliberative tree search is a cornerstone of modern Large Language Model (LLM) research, driving the pivot from brute-force scaling toward algorithmic efficiency. This single paradigm unifies two critical frontiers: \textbf{Test-Time Scaling (TTS)}, which deploys on-demand computation to solve hard problems, and \textbf{Self-Improvement}, which uses search-generated data to durably enhance model parameters. However, this burgeoning field is fragmented and lacks a common formalism, particularly concerning the ambiguous role of the reward signal -- is it a transient heuristic or a durable learning target? This paper resolves this ambiguity by introducing a unified framework that deconstructs search algorithms into three core components: the \emph{Search Mechanism}, \emph{Reward Formulation}, and \emph{Transition Function}. We establish a formal distinction between transient \textbf{Search Guidance} for TTS and durable \textbf{Parametric Reward Modeling} for Self-Improvement. Building on this formalism, we introduce a component-centric taxonomy, synthesize the state-of-the-art, and chart a research roadmap toward more systematic progress in creating autonomous, self-improving agents.
• Abstract（参考訳）: デリバティブ・ツリー・サーチ(Deliberative tree search)は、現代の大規模言語モデル(LLM)研究の基盤であり、ブルートフォースのスケーリングからアルゴリズム効率への転換を推進している。 この単一のパラダイムは、2つの重要なフロンティアを統一する: \textbf{Test-Time Scaling (TTS) — 難しい問題を解決するためにオンデマンド計算をデプロイする。 しかし、この波動場は断片化されており、特に報酬信号のあいまいな役割に関して、共通の形式主義を欠いている。 本稿では,探索アルゴリズムを3つのコアコンポーネントに分解する統合フレームワークを導入することにより,この曖昧さを解消する。 本稿では, TTS における一過性 \textbf{Search Guidance} と自己改善のための耐久性 \textbf{Parametric Reward Modeling} とを形式的に区別する。 このフォーマリズムに基づいて、我々は、コンポーネント中心の分類を導入し、最先端の技術を合成し、自律的で自己改善的なエージェントを作成するためのより体系的な進歩に向けた研究ロードマップをチャート化する。

関連論文リスト

• A2R: An Asymmetric Two-Stage Reasoning Framework for Parallel Reasoning [57.727084580884075]
  モデルポテンシャルと実際の性能の間のギャップを埋めるために設計された非対称な2段階推論フレームワーク。 A2R-Efficientは、Qwen3-4BとQwen3-8Bシンセサイザーを組み合わせた「小型から大型」の派生型である。 その結果、A2Rはパフォーマンス・ブートスティングのフレームワークであるだけでなく、現実世界のアプリケーションに対して効率的かつ実用的なソリューションであることがわかった。
  論文  参考訳（メタデータ） (2025-09-26T08:27:03Z)
• Enhancing Test-Time Scaling of Large Language Models with Hierarchical Retrieval-Augmented MCTS [19.394761422323853]
  R2-LLMsは,新規で汎用的な階層型検索拡張推論フレームワークである。 R2-LLMsは、二重レベル検索ベースのインコンテキスト学習を統合することにより、推論時間一般化を強化する。 MATH500、GSM8K、OlympiadBench-TOデータセットに関する実証的な評価は、かなりの相対的な改善をもたらす。
  論文  参考訳（メタデータ） (2025-07-08T00:41:12Z)
• Activation-Guided Consensus Merging for Large Language Models [25.68958388022476]
  textbfActivation-Guided textbfConsensus textbfMerging(textbfACM)は,層固有のマージ係数を決定するプラグインとプレイのマージフレームワークである。 L2S(Long-to-Short)と一般的なマージタスクの実験は、ACMが全てのベースラインメソッドを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-05-20T07:04:01Z)
• BPP-Search: Enhancing Tree of Thought Reasoning for Mathematical Modeling Problem Solving [11.596474985695679]
  我々は、完全な数学的モデリングプロセスをキャプチャする包括的ラベルを付したStructuredORデータセットをリリースする。 本稿では,強化学習をツリー・オブ・シント構造に統合するアルゴリズムであるBPP-Searchを提案する。
  論文  参考訳（メタデータ） (2024-11-26T13:05:53Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。