論文の概要: ThoughtProbe: Classifier-Guided Thought Space Exploration Leveraging LLM Intrinsic Reasoning

• arxiv url: http://arxiv.org/abs/2504.06650v1
• Date: Wed, 09 Apr 2025 07:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:06:46.536349
• Title: ThoughtProbe: Classifier-Guided Thought Space Exploration Leveraging LLM Intrinsic Reasoning
• Title（参考訳）: ThoughtProbe: LLM固有の推論を応用した分類器型思考空間探索
• Authors: Zijian Wang, Chang Xu,
• Abstract要約: 単純な線形分類器が LLM のアクティベーション空間における固有推論能力を効果的に検出できることを発見した。 木構造応答空間を戦略的に探索する分類器誘導探索フレームワークを提案する。 実験結果から,本フレームワークの包括的探索は妥当な推論連鎖だけでなく,有効に同定できることが示唆された。
• 参考スコア（独自算出の注目度）: 20.082244529609707
• License:
• Abstract: Pre-trained large language models (LLMs) have been demonstrated to possess intrinsic reasoning capabilities that can emerge naturally when expanding the response space. However, the neural representation mechanisms underlying these intrinsic capabilities and approaches for their optimal utilization remain inadequately understood. In this work, we make the key discovery that a simple linear classifier can effectively detect intrinsic reasoning capabilities in LLMs' activation space, particularly within specific representation types and network layers. Based on this finding, we propose a classifier-guided search framework that strategically explore a tree-structured response space. In each node expansion, the classifier serves as a scoring and ranking mechanism that efficiently allocates computational resources by identifying and prioritizing more thoughtful reasoning directions for continuation. After completing the tree expansion, we collect answers from all branches to form a candidate answer pool. We propose a branch-aggregation selection method that marginalizes over all supporting branches by aggregating their thoughtfulness scores, thereby identifying the optimal answer from the pool. Experimental results show that our framework's comprehensive exploration not only covers valid reasoning chains but also effectively identifies them, achieving significant improvements across multiple arithmetic reasoning benchmarks.
• Abstract（参考訳）: 事前学習された大言語モデル(LLM)は、応答空間を広げる際に自然に現れる固有の推論能力を持っていることが示されている。 しかし、これらの本質的な能力の根底にある神経表現機構と、それらの最適利用へのアプローチは、いまだに不十分なままである。 本研究では,LLMの活性化空間,特に特定の表現型やネットワーク層において,単純な線形分類器が本質的推論能力を効果的に検出できることを示す。 そこで本研究では,木構造応答空間を戦略的に探索する分類器誘導探索フレームワークを提案する。 各ノード拡張において、分類器は、継続のためのより思慮深い推論方向を特定し優先順位付けすることで、計算資源を効率的に割り当てるスコアとランキングのメカニズムとして機能する。 木の拡大を完了した後、すべての枝から回答を収集し、候補の回答プールを形成する。 そこで本研究では,すべての支持枝に対して,その思考度スコアを集計することで,最適解をプールから同定することで,疎外化を行う分岐集合選択法を提案する。 実験結果から,本フレームワークの包括的探索は妥当な推論連鎖を網羅するだけでなく,有効に同定し,複数の算術的推論ベンチマークにおいて大幅な改善を達成していることがわかった。

関連論文リスト

• Policy Guided Tree Search for Enhanced LLM Reasoning [3.090041654375235]
  Policy-Guided Tree Search (PGTS)は、強化学習と構造化木探索を組み合わせて推論経路を効率的にナビゲートするフレームワークである。 私たちの重要なイノベーションは、手作業や徹底的な検索の必要性をなくし、拡大、分岐、追跡、探索の終了を動的に決定する、学習されたポリシーです。
  論文  参考訳（メタデータ） (2025-02-04T22:08:20Z)
• AirRAG: Activating Intrinsic Reasoning for Retrieval Augmented Generation using Tree-based Search [4.4907551923591695]
  本稿では,システム解析と効率的な推論行動を統合したRAGにおける新しい思考パターンを提案する。 具体的には,本手法は5つの基本的な推論動作を設計し,より広い木に基づく推論空間に拡張する。 実験により,複雑な質問応答データセットに対して,AirRAGの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-17T09:16:13Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
  本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。 クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。 我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
  論文  参考訳（メタデータ） (2023-01-21T02:34:06Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Optimal Counterfactual Explanations in Tree Ensembles [3.8073142980733]
  我々は「最適」な説明を目的としたモデルに基づく探索を提唱し、効率的な混合整数プログラミング手法を提案する。 孤立林は我々のフレームワーク内でモデル化され、低いアウトリーチスコアで妥当な説明に焦点を絞ることができることを示す。
  論文  参考訳（メタデータ） (2021-06-11T22:44:27Z)
• Parameterizing Branch-and-Bound Search Trees to Learn Branching Policies [76.83991682238666]
  Branch and Bound (B&B) は、Mixed-Integer Linear Programming Problem (MILP) の解法として一般的に用いられる木探索法である。 本稿では,新しい模倣学習フレームワークを提案し,分岐を表現するための新しい入力機能とアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-12T17:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。