論文の概要: ThoughtProbe: Classifier-Guided Thought Space Exploration Leveraging LLM Intrinsic Reasoning

• arxiv url: http://arxiv.org/abs/2504.06650v1
• Date: Wed, 09 Apr 2025 07:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 20:48:25.036551
• Title: ThoughtProbe: Classifier-Guided Thought Space Exploration Leveraging LLM Intrinsic Reasoning
• Title（参考訳）: ThoughtProbe: LLM固有の推論を応用した分類器型思考空間探索
• Authors: Zijian Wang, Chang Xu,
• Abstract要約: 単純な線形分類器が LLM のアクティベーション空間における固有推論能力を効果的に検出できることを発見した。 木構造応答空間を戦略的に探索する分類器誘導探索フレームワークを提案する。 実験結果から,本フレームワークの包括的探索は妥当な推論連鎖だけでなく,有効に同定できることが示唆された。
• 参考スコア（独自算出の注目度）: 20.082244529609707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained large language models (LLMs) have been demonstrated to possess intrinsic reasoning capabilities that can emerge naturally when expanding the response space. However, the neural representation mechanisms underlying these intrinsic capabilities and approaches for their optimal utilization remain inadequately understood. In this work, we make the key discovery that a simple linear classifier can effectively detect intrinsic reasoning capabilities in LLMs' activation space, particularly within specific representation types and network layers. Based on this finding, we propose a classifier-guided search framework that strategically explore a tree-structured response space. In each node expansion, the classifier serves as a scoring and ranking mechanism that efficiently allocates computational resources by identifying and prioritizing more thoughtful reasoning directions for continuation. After completing the tree expansion, we collect answers from all branches to form a candidate answer pool. We propose a branch-aggregation selection method that marginalizes over all supporting branches by aggregating their thoughtfulness scores, thereby identifying the optimal answer from the pool. Experimental results show that our framework's comprehensive exploration not only covers valid reasoning chains but also effectively identifies them, achieving significant improvements across multiple arithmetic reasoning benchmarks.
• Abstract（参考訳）: 事前学習された大言語モデル(LLM)は、応答空間を広げる際に自然に現れる固有の推論能力を持っていることが示されている。 しかし、これらの本質的な能力の根底にある神経表現機構と、それらの最適利用へのアプローチは、いまだに不十分なままである。 本研究では,LLMの活性化空間,特に特定の表現型やネットワーク層において,単純な線形分類器が本質的推論能力を効果的に検出できることを示す。 そこで本研究では,木構造応答空間を戦略的に探索する分類器誘導探索フレームワークを提案する。 各ノード拡張において、分類器は、継続のためのより思慮深い推論方向を特定し優先順位付けすることで、計算資源を効率的に割り当てるスコアとランキングのメカニズムとして機能する。 木の拡大を完了した後、すべての枝から回答を収集し、候補の回答プールを形成する。 そこで本研究では,すべての支持枝に対して,その思考度スコアを集計することで,最適解をプールから同定することで,疎外化を行う分岐集合選択法を提案する。 実験結果から,本フレームワークの包括的探索は妥当な推論連鎖を網羅するだけでなく,有効に同定し,複数の算術的推論ベンチマークにおいて大幅な改善を達成していることがわかった。

関連論文リスト

• LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval [74.72139580745511]
  LaSERは、レトリバーの潜在空間に明示的な推論を内部化する、新しい自己蒸留フレームワークである。 提案手法は, 明示的なCoTパイプラインの推論深度と, 標準的な高密度検索器の推論効率をうまく組み合わせる。
  論文  参考訳（メタデータ） (2026-03-02T04:11:18Z)
• Contrastive Concept-Tree Search for LLM-Assisted Algorithm Discovery [10.823958143531685]
  大規模言語モデル (LLM) によるアルゴリズム発見は、プログラムに対する反復的、ブラックボックス最適化プロセスである。 本稿では、生成したプログラムから階層的な概念表現を抽出するContrastive Concept-Tree Search(CCTS)を紹介する。 CCTSは、フィットネスベースのベースラインよりも検索効率を向上し、解釈可能なタスク固有の概念ツリーを生成する。
  論文  参考訳（メタデータ） (2026-02-03T05:41:35Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• ThoughtProbe: Classifier-Guided LLM Thought Space Exploration via Probing Representations [22.84446651161078]
  ThoughtProbeは、Large Language Models(LLM)の隠れた推論機能を活用して、推論性能を改善する新しい推論フレームワークである。 木構造応答空間探索を誘導するために,これらの隠れ表現を識別信号として利用する。 我々のフレームワークの包括的な探索は、有効な推論チェーンを網羅するだけでなく、それらを効果的に識別し、複数の算術推論ベンチマーク間で大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-10-31T10:40:19Z)
• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• Policy Guided Tree Search for Enhanced LLM Reasoning [3.090041654375235]
  Policy-Guided Tree Search (PGTS)は、強化学習と構造化木探索を組み合わせて推論経路を効率的にナビゲートするフレームワークである。 私たちの重要なイノベーションは、手作業や徹底的な検索の必要性をなくし、拡大、分岐、追跡、探索の終了を動的に決定する、学習されたポリシーです。
  論文  参考訳（メタデータ） (2025-02-04T22:08:20Z)
• AirRAG: Activating Intrinsic Reasoning for Retrieval Augmented Generation using Tree-based Search [4.4907551923591695]
  本稿では,システム解析と効率的な推論行動を統合したRAGにおける新しい思考パターンを提案する。 具体的には,本手法は5つの基本的な推論動作を設計し,より広い木に基づく推論空間に拡張する。 実験により,複雑な質問応答データセットに対して,AirRAGの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-17T09:16:13Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Blind Spot Navigation in Large Language Model Reasoning with Thought Space Explorer [36.898636836302956]
  大規模言語モデルは、Chain-of-Thoughtのようなチェーン構造メソッドを通じて、強力な推論能力を示している。 最近の研究は、並列構造や木のような構造を生成し、長い推論モードと短い推論モードを切り替えたり、タスク性能と推論ステップを整合させることによって思考構造を最適化している。 これらのアプローチは、主に、解空間の未探索領域を無視した鎖の以前に生成された論理的な方向に依存する。 LLM推論における盲点を克服するための思考構造をナビゲートし拡張するためのフレームワークであるThought Space Explorer'(TSE)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T17:12:14Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
  本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。 クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。 我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
  論文  参考訳（メタデータ） (2023-01-21T02:34:06Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Optimal Counterfactual Explanations in Tree Ensembles [3.8073142980733]
  我々は「最適」な説明を目的としたモデルに基づく探索を提唱し、効率的な混合整数プログラミング手法を提案する。 孤立林は我々のフレームワーク内でモデル化され、低いアウトリーチスコアで妥当な説明に焦点を絞ることができることを示す。
  論文  参考訳（メタデータ） (2021-06-11T22:44:27Z)
• Parameterizing Branch-and-Bound Search Trees to Learn Branching Policies [76.83991682238666]
  Branch and Bound (B&B) は、Mixed-Integer Linear Programming Problem (MILP) の解法として一般的に用いられる木探索法である。 本稿では,新しい模倣学習フレームワークを提案し,分岐を表現するための新しい入力機能とアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-12T17:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。