論文の概要: Heuristic Classification of Thoughts Prompting (HCoT): Integrating Expert System Heuristics for Structured Reasoning into Large Language Models
- arxiv url: http://arxiv.org/abs/2604.12390v2
- Date: Thu, 16 Apr 2026 14:11:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 16:09:14.179405
- Title: Heuristic Classification of Thoughts Prompting (HCoT): Integrating Expert System Heuristics for Structured Reasoning into Large Language Models
- Title(参考訳): Heuristic Classification of Thoughts Prompting (HCoT): 大規模言語モデルへの構造化推論のためのエキスパートシステムヒューリスティックの統合
- Authors: Lei Lin, Jizhao Zhu, Yong Liu, Donghong Sun, Hongbo He, Yihua Du,
- Abstract要約: HCoT(Huristic- classification-of-Thoughts prompting schema)
HCoT(Huristic- classification-of-Thoughts prompting schema)
HCoT(Huristic- classification-of-Thoughts prompting schema)
- 参考スコア(独自算出の注目度): 9.545957160908115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses two limitations of large language models (LLMs) in solving complex problems: (1) their reasoning processes exhibit Bayesian-like stochastic generation, where each token is sampled from a context-dependent probability distribution, leading to inherently random decision trajectories rather than deterministic planning; (2) the reasoning and decision-making mechanisms are statically decoupled, meaning dynamically retrieved domain knowledge fails to dynamically adjust the underlying reasoning strategy. These dual deficiencies result in initial decisions lacking strategic anchoring and reasoning chains often failing to converge on correct solutions, as stochastic generation lacks mechanisms for trajectory correction or knowledge-guided optimization during sequential reasoning. To resolve these issues, we propose a problem-solving method integrated into the LLM's generation process to guide reasoning. This method, compatible with numerous LLMs and featuring reusable solutions, is grounded in a novel Heuristic-Classification-of-Thoughts prompting schema (HCoT). HCoT synergizes the LLM's reasoning ability with a structured problem space via a heuristic classification model that controls the reasoning process and provides reusable abstract solutions. Evaluated on two complex inductive reasoning tasks with ill-defined search spaces, HCoT outperforms existing approaches (e.g., Tree-of-Thoughts and Chain-of-Thoughts prompting) in performance. On the well-structured 24 Game task, HCoT demonstrates significantly higher token efficiency compared to the state-of-the-art Tree-of-Thoughts-Breadth-First-Search. In terms of both accuracy and token usage, HCoT achieves a Pareto frontier balance, offering a strong trade-off between performance and computational cost.
- Abstract(参考訳): 本稿では,(1)推論過程がベイズ的確率分布から各トークンをサンプリングし,決定論的計画よりも本質的にランダムな決定軌道に導かれるような,ベイズ的確率生成を示すこと,(2)推論と決定のメカニズムは静的に分離され,すなわち動的に抽出されたドメイン知識は推論戦略を動的に調整することができないこと,の2つの制約に対処する。
これらの二重欠陥は、戦略的なアンカーや推論チェーンがしばしば正しい解に収束しないという初期決定を欠く結果となり、確率的生成は、逐次推論中に軌道修正や知識誘導最適化のメカニズムを欠いている。
これらの問題を解決するために,LLM生成プロセスに統合された問題解決手法を提案し,推論を導出する。
この方法は、多数のLLMと互換性があり、再利用可能なソリューションを特徴とする、新しいHCoTプロンプトスキーマ(Huristic-Classification-of-Thoughts prompting schema)に基礎を置いている。
HCoTは、LLMの推論能力と構造化された問題空間を、推論過程を制御し、再利用可能な抽象解を提供するヒューリスティックな分類モデルを介してシナジー化する。
未定義の検索空間を持つ2つの複雑な帰納的推論タスクに基づいて評価され、HCoTは既存のアプローチ(例:Tree-of-Thoughts、Chain-of-Thoughts prompting)よりもパフォーマンスが優れている。
構造化された24ゲームタスクでは、HCoTは最先端のTree-of-Thoughts-Breadth-First-Searchに比べてトークン効率が大幅に向上している。
正確性とトークン使用の両面で、HCoTはParetoフロンティアバランスを達成し、パフォーマンスと計算コストの間に強いトレードオフを提供する。
関連論文リスト
- CoG: Controllable Graph Reasoning via Relational Blueprints and Failure-Aware Refinement over Knowledge Graphs [53.199517625701475]
CoGはDual-Process Theoryにインスパイアされたトレーニング不要のフレームワークで、直観と熟考の相互作用を模倣している。
CoGは精度と効率の両方において最先端のアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2026-01-16T07:27:40Z) - Step-Aware Policy Optimization for Reasoning in Diffusion Large Language Models [57.42778606399764]
拡散言語モデル(dLLM)は、テキスト生成に有望で非自己回帰的なパラダイムを提供する。
現在の強化学習アプローチは、しばしばスパースで結果に基づく報酬に頼っている。
これは推論の自然な構造との根本的なミスマッチに由来すると我々は主張する。
論文 参考訳(メタデータ) (2025-10-02T00:34:15Z) - CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。
我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。
我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
論文 参考訳(メタデータ) (2025-07-10T21:32:18Z) - Stepwise Reasoning Checkpoint Analysis: A Test Time Scaling Method to Enhance LLMs' Reasoning [81.50681925980135]
本稿では,ステップワイズ推論チェックポイント分析(SRCA)を提案する。
本研究は,(1)中間チェックポイント回答による経路推論をグループ化して品質を確保しつつ多様性を維持するAnswer-Clustered Search,(2)最終決定にすべての中間回答を活用するCheckpoint Candidate Augmentationの2つの主要な戦略を取り入れた。
提案手法は経路均質化を効果的に低減し,高品質な中間結果を活用することにより耐故障機構を創出する。
論文 参考訳(メタデータ) (2025-05-23T12:42:50Z) - Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning [40.069109287947875]
我々はフォレスト・オブ・サート(FoT)と呼ばれる新しい推論フレームワークを提案する。
FoTは複数の推論木を統合し、複雑な論理問題を解くために集合的な意思決定を活用する。
FoTは、最も関連性の高い推論パスを選択するためにスパースアクティベーション戦略を採用し、効率と精度の両方を改善している。
論文 参考訳(メタデータ) (2024-12-12T09:01:18Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳(メタデータ) (2024-06-20T03:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。