論文の概要: ThoughtProbe: Classifier-Guided LLM Thought Space Exploration via Probing Representations

• arxiv url: http://arxiv.org/abs/2510.27355v1
• Date: Fri, 31 Oct 2025 10:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.072815
• Title: ThoughtProbe: Classifier-Guided LLM Thought Space Exploration via Probing Representations
• Title（参考訳）: ThoughtProbe: Probing Representations による分類誘導型 LLM 思考空間探索
• Authors: Zijian Wang, Chang Xu,
• Abstract要約: ThoughtProbeは、Large Language Models(LLM)の隠れた推論機能を活用して、推論性能を改善する新しい推論フレームワークである。 木構造応答空間探索を誘導するために,これらの隠れ表現を識別信号として利用する。 我々のフレームワークの包括的な探索は、有効な推論チェーンを網羅するだけでなく、それらを効果的に識別し、複数の算術推論ベンチマーク間で大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 22.84446651161078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces ThoughtProbe, a novel inference time framework that leverages the hidden reasoning features of Large Language Models (LLMs) to improve their reasoning performance. Unlike previous works that manipulate the hidden representations to steer LLM generation, we harness them as discriminative signals to guide the tree structured response space exploration. In each node expansion, a classifier serves as a scoring and ranking mechanism that efficiently allocates computational resources by prioritizing higher score candidates for continuation. After completing the tree expansion, we collect answers from all branches to form a candidate answer pool. We then propose a branch aggregation method that marginalizes over all supporting branches by aggregating their CoT scores, thereby identifying the optimal answer from the pool. Experimental results show that our framework's comprehensive exploration not only covers valid reasoning chains but also effectively identifies them, achieving significant improvements across multiple arithmetic reasoning benchmarks.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) の隠れた推論機能を利用して推論性能を向上させる新しい推論時間フレームワークであるThoughtProbeを紹介する。 隠された表現をステアLSM生成に操作する以前の研究とは異なり、木構造された応答空間探索を誘導する識別信号としてそれらを利用する。 各ノード拡張において、分類器は、継続のためのより高いスコア候補を優先順位付けすることで、計算資源を効率的に割り当てるスコアとランキングのメカニズムとして機能する。 木の拡大を完了した後、すべての枝から回答を収集し、候補の回答プールを形成する。 そこで本研究では,CoTのスコアを集計することで,全ての支店を疎結合にし,プールからの最適解を同定する分岐集約手法を提案する。 実験結果から,本フレームワークの包括的探索は妥当な推論連鎖を網羅するだけでなく,有効に同定し,複数の算術的推論ベンチマークにおいて大幅な改善を達成していることがわかった。

関連論文リスト

• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• Threading the Needle: Reweaving Chain-of-Thought Reasoning to Explain Human Label Variation [60.18907916989796]
  大規模言語モデル(LLM)は最終答を出す前に思考の連鎖(CoT)を生成する。 本稿では,各回答オプションに対するサポート文と反対文を抽出するために,言語的に接頭した談話セグメンタを付加した新しいパイプラインを提案する。 また、正確なスコアよりも回答のランクを優先するランクベースHLV評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-29T11:47:18Z)
• ThoughtProbe: Classifier-Guided Thought Space Exploration Leveraging LLM Intrinsic Reasoning [20.082244529609707]
  単純な線形分類器が LLM のアクティベーション空間における固有推論能力を効果的に検出できることを発見した。 木構造応答空間を戦略的に探索する分類器誘導探索フレームワークを提案する。 実験結果から,本フレームワークの包括的探索は妥当な推論連鎖だけでなく,有効に同定できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-09T07:37:27Z)
• Blind Spot Navigation in Large Language Model Reasoning with Thought Space Explorer [36.898636836302956]
  大規模言語モデルは、Chain-of-Thoughtのようなチェーン構造メソッドを通じて、強力な推論能力を示している。 最近の研究は、並列構造や木のような構造を生成し、長い推論モードと短い推論モードを切り替えたり、タスク性能と推論ステップを整合させることによって思考構造を最適化している。 これらのアプローチは、主に、解空間の未探索領域を無視した鎖の以前に生成された論理的な方向に依存する。 LLM推論における盲点を克服するための思考構造をナビゲートし拡張するためのフレームワークであるThought Space Explorer'(TSE)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T17:12:14Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner [56.08919422452905]
  我々はIRGR(Iterative Retrieval-Generation Reasoner)と呼ばれるアーキテクチャを提案する。 本モデルでは,テキストの前提からステップバイステップの説明を体系的に生成することにより,与えられた仮説を説明することができる。 前提条件の検索と細分化木の生成に関する既存のベンチマークを上回り、全体の正しさはおよそ300%向上した。
  論文  参考訳（メタデータ） (2022-05-18T21:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。