論文の概要: Wider or Deeper? Scaling LLM Inference-Time Compute with Adaptive Branching Tree Search

• arxiv url: http://arxiv.org/abs/2503.04412v1
• Date: Thu, 06 Mar 2025 13:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:59:55.298999
• Title: Wider or Deeper? Scaling LLM Inference-Time Compute with Adaptive Branching Tree Search
• Title（参考訳）: より広いか、より深いか? 適応分岐木探索によるLLM推論時間計算のスケーリング
• Authors: Kou Misaki, Yuichi Inoue, Yuki Imajuku, So Kuroki, Taishi Nakamura, Takuya Akiba,
• Abstract要約: 本稿では,多ターン探索と利用を原則とした繰り返しサンプリングを一般化する新しい推論時フレームワークを提案する。 探索ツリーの各ノードにおいて、AB-MCTSは、新しい候補の応答を拡大することで「より広く」行くか、既存の応答を再考して「より深く進む」かを動的に決定する。
• 参考スコア（独自算出の注目度）: 1.0995326465245925
• License:
• Abstract: Recent advances demonstrate that increasing inference-time computation can significantly boost the reasoning capabilities of large language models (LLMs). Although repeated sampling (i.e., generating multiple candidate outputs) is a highly effective strategy, it does not leverage external feedback signals for refinement, which are often available in tasks like coding. In this work, we propose $\textit{Adaptive Branching Monte Carlo Tree Search (AB-MCTS)}$, a novel inference-time framework that generalizes repeated sampling with principled multi-turn exploration and exploitation. At each node in the search tree, AB-MCTS dynamically decides whether to "go wider" by expanding new candidate responses or "go deeper" by revisiting existing ones based on external feedback signals. We evaluate our method on complex coding and engineering tasks using frontier models. Empirical results show that AB-MCTS consistently outperforms both repeated sampling and standard MCTS, underscoring the importance of combining the response diversity of LLMs with multi-turn solution refinement for effective inference-time scaling.
• Abstract（参考訳）: 近年の進歩は、推論時計算の増加が大規模言語モデル(LLM)の推論能力を大幅に向上させることを実証している。 繰り返しサンプリング(つまり、複数の候補出力を生成する)は、非常に効果的な戦略であるが、コーディングのようなタスクでしばしば利用できる改善のために外部からのフィードバック信号を利用することはない。 本研究では, 反復サンプリングを原理的マルチターン探索とエクスプロイトで一般化する新しい推論時間フレームワークである, $\textit{Adaptive Branching Monte Carlo Tree Search (AB-MCTS)} を提案する。 探索ツリーの各ノードにおいて、AB-MCTSは、新しい候補の応答を拡大することで「より広く」行くか、または外部からのフィードバック信号に基づいて既存のノードを再検討して「より深く進む」かを動的に決定する。 我々はフロンティアモデルを用いて複雑なコーディングとエンジニアリングのタスクについて評価する。 実験の結果、AB-MCTSは繰り返しサンプリングと標準MCTSの両方を一貫して上回り、LLMの応答多様性と効率的な推論時間スケーリングのためのマルチターン解の洗練を組み合わせることの重要性を強調した。

関連論文リスト

• I-MCTS: Enhancing Agentic AutoML via Introspective Monte Carlo Tree Search [10.718560472954644]
  イントロスペクティブモンテカルロ木探索(Introspective Monte Carlo Tree Search, I-MCTS)は、イントロスペクティブプロセスを通じてツリーノードを反復的に拡張する新しいアプローチである。 我々は,各ノードの解の直接評価を容易にするために,LLM(Large Language Model)ベースの値モデルを統合する。 当社のアプローチでは,強力なオープンソースAutoMLエージェントと比較して,パフォーマンスが6%向上している。
  論文  参考訳（メタデータ） (2025-02-20T16:19:09Z)
• Diversified Sampling Improves Scaling LLM inference [31.18762591875725]
  DivSamplingは、候補解の多様性を高めるために設計された、斬新で多用途なサンプリング技術である。 理論解析により, 微妙な仮定の下では, 種々のプロンプトから発生する応答の誤り率は, 定常プロンプトによる応答よりも有意に低いことが示された。
  論文  参考訳（メタデータ） (2025-02-16T07:37:58Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
  本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。 逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。 アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-12-22T15:16:44Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• Hint Marginalization for Improved Reasoning in Large Language Models [24.67507932821155]
  大規模言語モデル(LLM)の推論能力を高める新しいアルゴリズムフレームワークであるMarginalizationを提案する。 提案手法は,モンテカルロ近似を基礎となる回答分布の反復的サンプリング戦略とみなすことができる。 算術的推論のためのいくつかのベンチマークデータセットに対する経験的評価は、提案手法の優位性を示している。
  論文  参考訳（メタデータ） (2024-12-17T19:45:53Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。