論文の概要: LinTree: Improving LLM Reasoning with Explicitly Structured Search Histories
- arxiv url: http://arxiv.org/abs/2605.31492v1
- Date: Fri, 29 May 2026 16:13:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.732216
- Title: LinTree: Improving LLM Reasoning with Explicitly Structured Search Histories
- Title（参考訳）: LinTree: 明示的な構造化された検索履歴によるLLM推論の改善
- Abstract要約: 大規模言語モデル(LLM)は、部分解を探索し修正する中間トレースを生成することによって推論問題を解決することが多い。
サーチの観点からは、これらのトレースは線形化されたサーチツリーと見なすことができ、モデルが部分解とバックトラックを拡張して代替手段を試すことができる。
線形化木(LinTree)構造を明示的に表現するために単純な親ポインタを追加すると、暗黙的推論モデルとLLMヒューリスティック誘導探索に対するタスク効率が向上することを示す。
- 参考スコア（独自算出の注目度）: 38.39348916777905
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) often solve reasoning problems by generating intermediate traces that explore and revise partial solutions. From a search perspective, these traces can be viewed as linearized search trees, where the model extends a partial solution, abandons it when it fails, and backtracks to try alternatives. Compared with traditional heuristic-guided search, such a policy has a potential advantage: it conditions on the whole search trace rather than only on the current local state. We first test whether LLMs utilize this advantage by comparing trace-conditioned reasoning policies against best-first search equipped with an LLM heuristic that only observes the current local state. Across three controlled reasoning environments, Blocks World, grid Navigation, and Sokoban, we find that raw access to search history alone is not enough to reliably outperform heuristic search. We then study one possible reason: in LLM reasoning traces, the underlying search tree is only implicitly represented, and when the model backtracks or switches branches, the trace does not explicitly identify which earlier search state is being revisited. We show that adding simple parent pointers to explicitly represent the linearized tree (LinTree) structure improves both task performance and search efficiency relative to implicit reasoning models and LLM-heuristic-guided search. These results suggest that search history becomes most useful when its tree structure is made explicit, motivating more structure-aware representations for LLM reasoning.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、部分解を探索し修正する中間トレースを生成することによって推論問題を解決することが多い。
検索の観点からは、これらのトレースは線形化された検索ツリーと見なすことができる。
従来のヒューリスティック誘導検索と比較すると、そのようなポリシーは潜在的に有利である。
LLMがこの利点を利用するかどうかを、LLMヒューリスティックを備えた最良検索に対するトレース条件の推論ポリシーを比較して検証する。
3つの制御された推論環境、Blocks World、グリッドナビゲーション、およびSokobanにおいて、検索履歴のみへの生アクセスは、ヒューリスティック検索を確実に上回るには不十分であることがわかった。
LLMの推論トレースでは、下層の探索ツリーは暗黙的にのみ表現され、モデルがブランチをバックトラックしたり切り替えたりすると、そのトレースはどの早期の探索状態が再検討されているかを明示的に識別しない。
線形化木(LinTree)構造を明示的に表現するために単純な親ポインタを追加すると、暗黙的推論モデルやLLMヒューリスティック誘導探索と比較してタスク性能と探索効率が向上することを示す。
これらの結果から, 木構造が明確化されると, 探索履歴が最も有用であることが示唆された。
関連論文リスト
- TsuGO: Probing Search Efficiency in LLM Reasoning via Go Life-and-Death Problems [18.691569868742754]
本稿では,Go の生命死問題による LLM 推論における探索効率評価のためのプロセスレベル推論ベンチマークである TsuGO を紹介する。
これらの問題は、固有の逆構造を持つ閉かつ検証可能な解空間を提供し、候補生成、応答チェック、分岐比較、帰納的トレースパターンよりも推論に必要な部分を追跡する。
解空間を制約することにより、検索組織からドメイン知識を分離し、CoTを構造化された検索ツリーに解析し、検索効率とToken効率などの診断指標と視覚化を報告する。
論文 参考訳（メタデータ） (2026-08-13T13:24:47Z) - Transformers in the Dark: Navigating Unknown Search Spaces via Bandit Feedback [22.721204992834092]
本研究では,トランスフォーマーは理論的に異なる探索戦略を実装するのに十分な表現力を持ち,これらの戦略をスクラッチから訓練して近似することができることを示す。
我々のトランスフォーマーモデルは、長い地平線や深い木のような目に見えない条件に一般化する可能性を示している。
論文 参考訳（メタデータ） (2026-03-25T19:50:32Z) - LLM-First Search: Self-Guided Exploration of the Solution Space [29.780554400938335]
大規模言語モデル(LLM)は、テスト時間計算の増加による推論と計画の大幅な改善を示している。
我々は,新しいTextitLLM Self-Guided Search法である textbfLLM-First Search (LFS) を提案する。
論文 参考訳（メタデータ） (2025-06-05T16:27:49Z) - ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning [74.65632662894086]
本稿では,強化学習を通じてLLMをReason with Searchに学習するフレームワークであるReSearchを提案する。
提案手法では,検索操作を推論チェーンの不可欠な要素として扱う。
分析によると、ReSearchは自然にリフレクションや自己訂正のような高度な推論機能を引き出す。
論文 参考訳（メタデータ） (2025-03-25T09:00:58Z) - Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning [50.419872452397684]
Search-R1は推論フレームワークのための強化学習の拡張である。
リアルタイム検索とステップバイステップ推論の間に検索クエリを生成する。
性能は41%(Qwen2.5-7B)、20%(Qwen2.5-3B)で改善されている。
論文 参考訳（メタデータ） (2025-03-12T16:26:39Z) - Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。
各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
論文 参考訳（メタデータ） (2025-02-16T16:12:01Z) - Uncertainty-Guided Likelihood Tree Search [37.25859935454988]
ツリー探索は、木構造空間を探索するものとして、多くのシーケンシャルな意思決定問題を列挙できるため、計画のための基本的なツールである。
本研究では、報酬関数が経路のログ様関数であるような設定のための不確実性誘導木探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-04T14:08:50Z) - LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。
GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
論文 参考訳（メタデータ） (2024-06-29T05:14:04Z) - RoT: Enhancing Large Language Models with Reflection on Search Trees [41.67536806038573]
本稿では,木探索に基づくプロンプト手法の性能向上を目的としたLLMリフレクションフレームワークであるリフレクション・オン・サーチ・ツリー(RoT)について紹介する。
強力なLLMを使用して、以前の木探索経験からガイドラインを要約し、弱いLLMの能力を高める。
本稿では,RoTがより具体的で意味のあるガイドラインを生成するのを支援するために,歴史的検索プロセスから重要な情報を識別する新しい状態選択法を提案する。
論文 参考訳（メタデータ） (2024-04-08T12:31:23Z) - Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。
近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。
我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
論文 参考訳（メタデータ） (2023-10-14T14:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。