論文の概要: Chopping Trees: Semantic Similarity Based Dynamic Pruning for Tree-of-Thought Reasoning
- arxiv url: http://arxiv.org/abs/2511.08595v1
- Date: Thu, 30 Oct 2025 17:18:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-16 06:38:31.065412
- Title: Chopping Trees: Semantic Similarity Based Dynamic Pruning for Tree-of-Thought Reasoning
- Title(参考訳): Chopping Trees:Semantic similarityをベースとした動的刈り込みによるトリー・オブ・ソート推論
- Authors: Joongho Kim, Xirui Huang, Zarreen Reza, Gabriel Grand, Kevin Zhu, Ryan Lagasse,
- Abstract要約: Tree-of-Thought (ToT)推論は、大規模言語モデル(LLM)の問題解決能力を高める
本稿では,オンラインセマンティックマージを並列木探索に統合する軽量な方法であるSemantic similarity-Based Dynamic Pruning(SSDP)を紹介する。
SSDPは、最先端のツリーサーチベースラインよりも最大2.3倍のスピードアップを実現し、競争精度を維持している。
- 参考スコア(独自算出の注目度): 5.347273439141959
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tree-of-Thought (ToT) reasoning boosts the problem-solving abilities of Large Language Models (LLMs) but is computationally expensive due to semantic redundancy, where distinct branches explore equivalent reasoning paths. We introduce Semantic Similarity-Based Dynamic Pruning (SSDP), a lightweight method that, to the best of our knowledge, is the first framework to integrate online semantic merging into parallelized tree search, enabling the clustering and pruning of redundant steps in real time. Across reasoning benchmarks, including GSM8K and MATH500, SSDP achieves up to a 2.3x speedup over state-of-the-art tree-search baselines while maintaining competitive accuracy (typically within 5% of the strongest baseline) and reducing the number of explored nodes by 85-90%, demonstrating a practical approach to efficient, scalable LLM reasoning. The implementation of SSDP is publicly available at https://github.com/kimjoonghokim/SSDP.
- Abstract(参考訳): Tree-of-Thought (ToT) 推論は、Large Language Models (LLM) の問題解決能力を高めるが、セマンティックな冗長性のために計算コストがかかる。
我々はSemantic similarity-Based Dynamic Pruning (SSDP)を紹介した。これは私たちの知る限り、オンラインセマンティックマージを並列木探索に統合する最初のフレームワークであり、冗長なステップをリアルタイムにクラスタリングおよびプルーニングすることが可能である。
GSM8KやMATH500を含む推論ベンチマーク全体で、SSDPは最先端のツリー検索ベースラインよりも最大2.3倍のスピードアップを実現し、競争精度(通常は最強のベースラインの5%以内)を維持し、探索ノードの数を85~90%削減し、効率よくスケーラブルなLCM推論への実践的なアプローチを示している。
SSDPの実装はhttps://github.com/kimjoonghokim/SSDPで公開されている。
関連論文リスト
- MITS: Enhanced Tree Search Reasoning for LLMs via Pointwise Mutual Information [32.43291637979958]
情報理論の原理で推論を導く新しいフレームワークであるMutual Information Tree Search (MITS)を提案する。
MITSは、ポイントワイド相互情報(PMI)に基づく効果的なスコアリング機能を導入し、推論経路の段階的評価と探索木拡張を可能にする。
最終的な予測のために、MITSはPMIスコアと予測コンセンサスを組み合わせた重み付き投票方式を採用している。
論文 参考訳(メタデータ) (2025-10-04T02:30:40Z) - Chain-in-Tree: Back to Sequential Reasoning in LLM Tree Search [4.12237459236889]
Chain-in-Tree (CiT)は、すべてのステップで拡張するのではなく、検索中にいつ分岐するかを決定するフレームワークである。
GSM8KとMath500のトークン生成、モデル呼び出し、ランタイムの75~85%の削減を実現している。
論文 参考訳(メタデータ) (2025-09-30T06:18:44Z) - TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。
TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
論文 参考訳(メタデータ) (2025-08-24T16:52:37Z) - TreeRPO: Tree Relative Policy Optimization [65.51935468270916]
nameは、ツリーサンプリングを用いて、様々な推論ステップで報酬の数学的期待を推定する新しい方法である。
GRPOの集団相対的な報酬訓練機構に基づいて、木サンプリング時に生成されたステップレベルグループに基づいて報酬を革新的に計算する。
論文 参考訳(メタデータ) (2025-06-05T15:56:38Z) - Dynamic Parallel Tree Search for Efficient LLM Reasoning [102.16694475391665]
Tree of Thoughts (ToT) は大規模言語モデル(LLM)推論を強化し、分散木としての問題解決を構造化する。
推論における推論経路を動的に最適化することを目的とした,新しい並列化フレームワークであるDynamic Parallel Tree Search (DPTS)を提案する。
Qwen-2.5とLlama-3のMath500とGSM8Kデータセットによる実験では、DPTSは平均で2-4倍効率が向上した。
論文 参考訳(メタデータ) (2025-02-22T14:13:37Z) - LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。
GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
論文 参考訳(メタデータ) (2024-06-29T05:14:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。