論文の概要: What Makes a Good Reasoning Chain? Uncovering Structural Patterns in Long Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2505.22148v1
• Date: Wed, 28 May 2025 09:12:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.524998
• Title: What Makes a Good Reasoning Chain? Uncovering Structural Patterns in Long Chain-of-Thought Reasoning
• Title（参考訳）: 長鎖型推論における構造パターンの発見
• Authors: Gangwei Jiang, Yahui Liu, Zhaoyi Li, Qi Wang, Fuzheng Zhang, Linqi Song, Ying Wei, Defu Lian,
• Abstract要約: 逐次LCoTを階層木構造に変換する自動化フレームワークであるLCoT2Treeを提案する。 グラフニューラルネットワーク(GNN)を用いて,LCoT2Treeによって抽出された構造パターンが最終性能の強い予測因子となることを明らかにした。 以上の結果から,LCoT2TreeをLLMの診断・解釈・改善のための強力なツールとして位置づけた。
• 参考スコア（独自算出の注目度）: 45.660562905010934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in reasoning with large language models (LLMs) have popularized Long Chain-of-Thought (LCoT), a strategy that encourages deliberate and step-by-step reasoning before producing a final answer. While LCoTs have enabled expert-level performance in complex tasks, how the internal structures of their reasoning chains drive, or even predict, the correctness of final answers remains a critical yet underexplored question. In this work, we present LCoT2Tree, an automated framework that converts sequential LCoTs into hierarchical tree structures and thus enables deeper structural analysis of LLM reasoning. Using graph neural networks (GNNs), we reveal that structural patterns extracted by LCoT2Tree, including exploration, backtracking, and verification, serve as stronger predictors of final performance across a wide range of tasks and models. Leveraging an explainability technique, we further identify critical thought patterns such as over-branching that account for failures. Beyond diagnostic insights, the structural patterns by LCoT2Tree support practical applications, including improving Best-of-N decoding effectiveness. Overall, our results underscore the critical role of internal structures of reasoning chains, positioning LCoT2Tree as a powerful tool for diagnosing, interpreting, and improving reasoning in LLMs.
• Abstract（参考訳）: 近年,Long Chain-of-Thought (LCoT) は大規模言語モデル (LLM) を用いた推論の進歩によって普及している。 LCoTは複雑なタスクにおいて、専門家レベルのパフォーマンスを実現しているが、彼らの推論チェーンの内部構造がどのようにして、あるいは予測するかは、依然として重要で未解明の疑問である。 本稿では,LCoTを階層木構造に変換する自動フレームワークであるLCoT2Treeについて述べる。 グラフニューラルネットワーク(GNN)を用いて、探索、バックトラック、検証を含むLCoT2Treeによって抽出された構造パターンが、幅広いタスクやモデルにわたる最終性能のより強力な予測因子となることを明らかにした。 説明可能性技術を活用することで、障害の原因となるオーバーブランチなどの重要な思考パターンをさらに特定する。 診断の洞察以外にも、LCoT2Treeによる構造パターンは、Best-of-Nデコードの有効性の改善を含む実用的な応用をサポートしている。 以上の結果から,LCoT2TreeをLLMの診断・解釈・改善の強力なツールとして位置づける上で,推論鎖の内部構造の重要性が示唆された。

関連論文リスト

• Dissecting Logical Reasoning in LLMs: A Fine-Grained Evaluation and Supervision Study [34.29839553042609]
  本研究では,3次元にわたる論理的推論を評価するためのきめ細かい評価フレームワークであるFinalLogicを提案する。 微調整時の監督形式の効果について検討する。 この結果から, 自然言語指導は, アウト・オブ・ディストリビューションや長文タスクにも強い一般化をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2025-06-05T09:34:12Z)
• Mapping the Minds of LLMs: A Graph-Based Analysis of Reasoning LLM [11.181783720439563]
  大規模言語モデル(LLM)は、拡張されたChain-of-Thought(CoT)生成を通じて洗練された推論能力を示す。 RLMは、数発のプロンプトによる性能劣化など、直感的で不安定な動作を示すことが多い。 RLMの推論過程をより良くモデル化するための統一的なグラフベース分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T03:54:57Z)
• ToTRL: Unlock LLM Tree-of-Thoughts Reasoning Potential through Puzzles Solving [4.987786842464663]
  Tree-of-Thoughts (ToT) は、ツリー構造内の探索として推論をモデル化することによって、概念的により高度なアプローチを提供する。 ToTRLは、逐次CoT戦略に基づく並列ToT戦略の開発においてLLMを導くように設計されている。 ToTQwen3-8Bモデルは,複雑な推論タスクの性能向上と推論効率の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-19T05:18:58Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Unlocking General Long Chain-of-Thought Reasoning Capabilities of Large Language Models via Representation Engineering [59.34894142132706]
  既存の作業では、いくつかの例だけをチューニングすることで、長いCoT推論の能力を効率的に引き出すことができる。 このことは、LLMの一般的な能力であるCoT推論の長さを調査する動機となっている。 LLMの一般的な長大CoT推論能力を解き放つ新しい表現工学手法であるGLoREを提案する。
  論文  参考訳（メタデータ） (2025-03-14T11:30:37Z)
• Policy Guided Tree Search for Enhanced LLM Reasoning [3.090041654375235]
  Policy-Guided Tree Search (PGTS)は、強化学習と構造化木探索を組み合わせて推論経路を効率的にナビゲートするフレームワークである。 私たちの重要なイノベーションは、手作業や徹底的な検索の必要性をなくし、拡大、分岐、追跡、探索の終了を動的に決定する、学習されたポリシーです。
  論文  参考訳（メタデータ） (2025-02-04T22:08:20Z)
• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought [61.588465852846646]
  大型言語モデル(LLM)の性能向上のための有望なアプローチとして、Chain-of-Thought(CoT)推論が登場した。 本稿では,これらの課題に対処するための新しい推論境界フレームワーク(RBF)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T05:26:28Z)
• Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs [37.147529569445396]
  Tree-of- Thought (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路をよりよく見つける。 ToTで構築された検索ツリーを利用した細調整言語モデル(LLMs)により、CoTは同様のあるいはより良いパフォーマンスを実現することができる。 これはCPO(Chain of Preference Optimization)によって実現され、LLMはCoT推論パスの各ステップをToTのステップと整列するように微調整される。
  論文  参考訳（メタデータ） (2024-06-13T14:07:02Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。