論文の概要: Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls

• arxiv url: http://arxiv.org/abs/2502.11183v1
• Date: Sun, 16 Feb 2025 16:12:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:50.147068
• Title: Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls
• Title（参考訳）: 木に迷うな - 木探索の落とし穴を克服したLLM推論の合理化
• Authors: Ante Wang, Linfeng Song, Ye Tian, Dian Yu, Haitao Mi, Xiangyu Duan, Zhaopeng Tu, Jinsong Su, Dong Yu,
• Abstract要約: 検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。 各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
• 参考スコア（独自算出の注目度）: 83.89771461061903
• License:
• Abstract: Recent advancements in tree search algorithms guided by verifiers have significantly enhanced the reasoning capabilities of large language models (LLMs), but at the cost of increased computational resources. In this work, we identify two key challenges contributing to this inefficiency: $\textit{over-exploration}$ due to redundant states with semantically equivalent content, and $\textit{under-exploration}$ caused by high variance in verifier scoring leading to frequent trajectory switching. To address these issues, we propose FETCH, an e$\textbf{f}$fici$\textbf{e}$nt $\textbf{t}$ree sear$\textbf{ch}$ framework, which is a flexible, plug-and-play system compatible with various tree search algorithms. Our framework mitigates over-exploration by merging semantically similar states using agglomerative clustering of text embeddings obtained from a fine-tuned SimCSE model. To tackle under-exploration, we enhance verifiers by incorporating temporal difference learning with adjusted $\lambda$-returns during training to reduce variance, and employing a verifier ensemble to aggregate scores during inference. Experiments on GSM8K, GSM-Plus, and MATH datasets demonstrate that our methods significantly improve reasoning accuracy and computational efficiency across four different tree search algorithms, paving the way for more practical applications of LLM-based reasoning. The code will be released upon acceptance.
• Abstract（参考訳）: 検証によって導かれる木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させたが、計算資源の増大によるコストが増大した。 本研究では,この非効率性に寄与する2つの主要な課題を同定する。$\textit{over-Exploration}$は意味論的に等価なコンテンツを持つ冗長な状態によるものであり,$\textit{under-Exploration}$は検証器のばらつきが高く,頻繁な軌道変更につながる。 これらの問題に対処するため、FETCH(e$\textbf{f}$fici$\textbf{e}$nt $\textbf{t}$ree Sear$\textbf{ch}$ framework)を提案する。 本フレームワークは,SimCSEモデルから得られたテキスト埋め込みの集合的クラスタリングを用いて,意味論的に類似した状態をマージすることで,過剰探索を緩和する。 探索の過小評価に対処するため、トレーニング中に調整された$\lambda$-returnsで時間差分学習を組み込んで分散を減らし、推論中にスコアを集約する検証器アンサンブルを用いて検証を行う。 GSM8K, GSM-Plus, MATHデータセットを用いた実験により,本手法は4種類の木探索アルゴリズムにおける推論精度と計算効率を著しく向上し, LLMに基づく推論をより実践的に適用する道を開いた。 コードは受理時にリリースされます。

関連論文リスト

• FLARE: Faithful Logic-Aided Reasoning and Exploration [50.9814063216852]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)
• Tree-of-Traversals: A Zero-Shot Reasoning Algorithm for Augmenting Black-box Language Models with Knowledge Graphs [72.89652710634051]
  知識グラフ(KG)は、信頼性があり、構造化され、ドメイン固有であり、最新の外部知識を提供することで、Large Language Models(LLM)を補完する。 そこで本研究では,ゼロショット推論アルゴリズムであるTree-of-Traversalsを導入する。
  論文  参考訳（メタデータ） (2024-07-31T06:01:24Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement [11.91629418177851]
  投機的復号法(英: Speculative decoding)は、大規模言語モデルの推論・加速度法である。 近年の作業では、草稿の伐採によってこの方法が進歩している。 再帰的投機的復号法(Recursive Speculative Decoding:RSD)を提案する。
  論文  参考訳（メタデータ） (2024-02-21T22:57:49Z)
• Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
  大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。 我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
  論文  参考訳（メタデータ） (2023-10-14T14:14:38Z)
• Shallow decision trees for explainable $k$-means clustering [1.2891210250935146]
  決定木内の葉の深さに関連する指標を考慮に入れた効率的なアルゴリズムを提案する。 16個のデータセットの実験において,本アルゴリズムは決定木クラスタリングアルゴリズムよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2021-12-29T18:22:28Z)
• An Operator Splitting View of Federated Learning [15.968575321322225]
  過去数年間、学習(texttFL$)コミュニティは、新しい$texttFL$アルゴリズムの急増を目撃してきた。 我々は、異なるアルゴリズムを簡単に比較し、以前の収束結果と比較し、新しいアルゴリズムの変種を明らかにする。 統一アルゴリズムは、オーバーヘッドを伴わずに$texttFL$アルゴリズムを加速する方法も導き出す。
  論文  参考訳（メタデータ） (2021-08-12T21:22:06Z)
• On $\ell_p$-norm Robustness of Ensemble Stumps and Trees [83.81523991945018]
  我々は,アンサンブルスタンプの音響検証のための効率的なプログラムベースアルゴリズムを開発した。 我々は,アンサンブル・スタンプや木を訓練するための最初の認証された防御法を,$ell_p$ノルム摂動に関して実証した。
  論文  参考訳（メタデータ） (2020-08-20T03:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。