論文の概要: Searching Meta Reasoning Skeleton to Guide LLM Reasoning
- arxiv url: http://arxiv.org/abs/2510.04116v1
- Date: Sun, 05 Oct 2025 09:36:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.465291
- Title: Searching Meta Reasoning Skeleton to Guide LLM Reasoning
- Title(参考訳): LLM推論のためのメタ推論骨格の探索
- Abstract要約: 我々は,従来の研究で提案された骨格を統一するために,指向性非環状グラフ(DAG)を用いたメタ推論スケルトンを表現した。
自動機械学習(AutoML)にインスパイアされたクエリ対応メタ推論スケルトンを検索するフレームワークであるAutoMRを提案する。
- 参考スコア(独自算出の注目度): 35.28434142749689
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meta reasoning behaviors work as a skeleton to guide large language model (LLM) reasoning, thus help to improve reasoning performance. However, prior researches implement meta reasoning skeleton with manually designed structure, limiting ability to adapt to query-specific requirement and capture intricate logical dependency among reasoning steps. To deal with the challenges, we represent meta reasoning skeleton with directed acyclic graph (DAG) to unify skeletons proposed in prior works and model intricate logical dependency. Then we propose AutoMR, a framework that searches for query-aware meta reasoning skeleton automatically inspired by automated machine learning (AutoML). Specifically, we construct search space based on DAG representation of skeleton and then formulate the search problem. We design a dynamic skeleton sampling algorithm by expanding meta reasoning skeleton along with reasoning context at inference time. This algorithm can derive any meta reasoning skeleton in search space efficiently and adapt skeleton to evolving base reasoning context, thus enable efficient query-aware skeleton search. We conduct experiments on extensive benchmark datasets. Experimental results show that AutoMR achieves better reasoning performance than previous works broadly.
- Abstract(参考訳): メタ推論の振る舞いは、大きな言語モデル(LLM)推論を導くスケルトンとして機能し、推論のパフォーマンスを改善するのに役立つ。
しかし、以前の研究では、メタ推論スケルトンを手動で設計し、クエリ固有の要求に適応し、推論ステップ間の複雑な論理的依存関係をキャプチャする能力を制限する。
この課題に対処するため,本研究では,先行研究で提案された骨格を統一し,複雑な論理的依存関係をモデル化するために,DAGを用いたメタ推論スケルトンを表現した。
次に,自動機械学習(AutoML)にインスパイアされたクエリ対応メタ推論スケルトンを検索するフレームワークであるAutoMRを提案する。
具体的には,骨格のDAG表現に基づいて探索空間を構築し,探索問題を定式化する。
メタ推論スケルトンを推論時の推論コンテキストとともに拡張し,動的スケルトンサンプリングアルゴリズムを設計する。
このアルゴリズムは検索空間における任意のメタ推論スケルトンを効率的に導き出し、進化するベース推論コンテキストにスケルトンを適応させることにより、効率的なクエリ対応スケルトン探索を可能にする。
広範なベンチマークデータセットの実験を行います。
実験結果から,AutoMRは従来よりも高い推理性能が得られることがわかった。
関連論文リスト
- TsuGO: Probing Search Efficiency in LLM Reasoning via Go Life-and-Death Problems [18.691569868742754]
本稿では,Go の生命死問題による LLM 推論における探索効率評価のためのプロセスレベル推論ベンチマークである TsuGO を紹介する。
これらの問題は、固有の逆構造を持つ閉かつ検証可能な解空間を提供し、候補生成、応答チェック、分岐比較、帰納的トレースパターンよりも推論に必要な部分を追跡する。
解空間を制約することにより、検索組織からドメイン知識を分離し、CoTを構造化された検索ツリーに解析し、検索効率とToken効率などの診断指標と視覚化を報告する。
論文 参考訳(メタデータ) (2026-08-13T13:24:47Z) - The Periodic Table of LLM Reasoning: A Structured Survey of Reasoning Paradigms, Methods, and Failure Modes [55.42597391158023]
この調査は、arXiv、Semantic Scholar、Google Scholar、Papers with Code、ACL Anthologyの300以上の最近の論文の体系的な分析を提供する。
本稿では、推論研究の構造的分類を導入し、チェーン・オブ・ソート推論、マルチホップ推論、数学的推論、常識推論、視覚的および時間的推論、コードとアルゴリズム的推論、検索強化推論、ツール強化およびエージェント的推論、強化学習に基づく推論について紹介する。
我々は、繰り返し発生する制限と失敗モードを合成する。例えば、幻覚の推論、脆い多段階推論、弱い因果的抽象、貧弱な交差などである。
論文 参考訳(メタデータ) (2026-06-09T21:59:37Z) - Tree of Thoughts as a Classical Heuristic Search Problem: Formal Foundations and Design Patterns [6.22368977258382]
大きな言語モデル(LLM)は、顕著な推論能力を示している。
Tree-of-Thoughts (ToT)フレームワークは中間推論ステップ上の検索スペースを生成する。
古典的な検索用語に基づく統合分類法により,ToTの景観を合成する。
論文 参考訳(メタデータ) (2026-05-27T14:54:48Z) - STRIDE: Strategic Iterative Decision-Making for Retrieval-Augmented Multi-Hop Question Answering [9.69666629029613]
マルチホップ質問応答 (MHQA) は、複数の文書にまたがる証拠を検索し、推論することで、複雑なクエリに対する正確な回答を可能にする。
既存のMHQAアプローチは主に、次の2つの大きな問題に苦しむ反復的な検索強化世代に依存している。
戦略計画,動的制御,接地型実行を分離するフレームワークSTRIDEを提案する。
論文 参考訳(メタデータ) (2026-04-19T12:19:43Z) - Multi-Step Semantic Reasoning in Generative Retrieval [50.65947993017158]
生成検索(GR)モデルは、モデルパラメータ内のコーパスを符号化し、所定のクエリに対して関連するドキュメント識別子を生成する。
既存のGRモデルは、財務報告に対するセマンティック推論など、数値的な文脈で複雑なクエリに苦しむ。
GR内の数値文脈における多段階意味推論を強化するためのフレームワークであるReasonGRを提案する。
論文 参考訳(メタデータ) (2026-03-12T18:38:50Z) - Rethinking Deep Research from the Perspective of Web Content Distribution Matching [86.90255285277256]
WeDasは,検索空間の構造的特徴をエージェントの観察空間に組み込んだWebコンテンツ配信アウェアフレームワークである。
本稿では,Query-Result Alignment Scoreを反復的に推定する数ショットの探索機構を提案する。
プラグイン・アンド・プレイモジュールとして、WeDasは4つのベンチマークのサブゴール補完と精度を一貫して改善している。
論文 参考訳(メタデータ) (2026-03-07T14:51:17Z) - ROG: Retrieval-Augmented LLM Reasoning for Complex First-Order Queries over Knowledge Graphs [14.25887925588904]
本稿では,クエリを意識した近傍検索と大規模言語モデル(LLM)の連鎖推論を組み合わせた検索拡張フレームワークを提案する。
ROGはマルチ演算クエリを単一演算サブクエリのシーケンスに分解する。
中間回答セットはステップ間でキャッシュされ再利用され、深い推論チェーンの一貫性が向上します。
論文 参考訳(メタデータ) (2026-02-02T17:45:43Z) - A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs [16.929901817693334]
知識グラフ(KG)と一階述語論理(FOL)クエリを関連付けることは、現実世界のKGが本質的に不完全であるために困難である。
本稿では,問合せ対応のKG近傍検索と大規模言語モデル(LLM)に基づくチェーン・オブ・シークレット推論を組み合わせたアンサンブルスタイルのフレームワークであるROGを提案する。
論文 参考訳(メタデータ) (2025-12-22T07:01:05Z) - Unifying Tree Search Algorithm and Reward Design for LLM Reasoning: A Survey [92.71325249013535]
線形木探索はLarge Language Model (LLM) 研究の基盤となっている。
本稿では,検索アルゴリズムを3つのコアコンポーネントに分解する統合フレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-11T03:29:18Z) - Adaptive Test-Time Reasoning via Reward-Guided Dual-Phase Search [62.1546099504045]
本稿では、推論を計画と実行に分離する二相テストタイムスケーリングフレームワークを提案する。
具体的には、推論軌跡を分解し、各フェーズの報酬モデルを構築し、探索者が個別に計画と実行を探索、実行できるようにする。
数学的推論とコード生成ベンチマークの両方の実験により、我々の手法は計算の冗長性を低減しつつ、常に精度を向上することを示した。
論文 参考訳(メタデータ) (2025-09-29T19:27:23Z) - Accelerating Large Language Model Reasoning via Speculative Search [59.48276891032373]
本稿では,大規模言語モデル(LLM)推論を著しく高速化する新しいSpec Searchフレームワークを提案する。
具体的には、SpecSearchは小さなモデルを使用して、思考とトークンのレベルで大きなモデルと戦略的に協力する。
SpecSearchの主要な柱は、大きなモデルの出力よりも品質が低い考えを効果的にフィルタリングする、新しい品質保存の拒絶メカニズムである。
論文 参考訳(メタデータ) (2025-05-03T12:14:08Z) - ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning [74.65632662894086]
本稿では,強化学習を通じてLLMをReason with Searchに学習するフレームワークであるReSearchを提案する。
提案手法では,検索操作を推論チェーンの不可欠な要素として扱う。
分析によると、ReSearchは自然にリフレクションや自己訂正のような高度な推論機能を引き出す。
論文 参考訳(メタデータ) (2025-03-25T09:00:58Z) - Order Doesn't Matter, But Reasoning Does: Training LLMs with Order-Centric Augmentation [57.570754504160305]
本稿では,論理的推論における可換性に基づく順序中心のデータ拡張フレームワークを提案する。
秩序中心の拡張を利用することで、モデルはより柔軟で一般化された推論プロセスを開発することができる。
論文 参考訳(メタデータ) (2025-02-27T09:25:50Z) - LLM Reasoners: New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models [25.537725151112387]
完全自動推論チェーン評価のためのAutoRaceを導入する。
既存の推論アルゴリズムと新しい推論アルゴリズムのモジュール実装を標準化するためのライブラリである LLM Reasoners も開発している。
論文 参考訳(メタデータ) (2024-04-08T06:35:09Z) - Query Structure Modeling for Inductive Logical Reasoning Over Knowledge
Graphs [67.043747188954]
KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。
線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。
2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-05-23T01:25:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。