論文の概要: Enhancing Large Language Models through Structured Reasoning

• arxiv url: http://arxiv.org/abs/2506.20241v1
• Date: Wed, 25 Jun 2025 08:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.660597
• Title: Enhancing Large Language Models through Structured Reasoning
• Title（参考訳）: 構造化推論による大規模言語モデルの強化
• Authors: Yubo Dong, Hehe Fan,
• Abstract要約: 本稿では,Large Language Models (LLM) を明示的構造化推論により拡張する新しい手法を提案する。 まず、非構造化データを明示的に推論ステップをアノテートすることで構造化形式に変換する。 次に、この構造化データセットを使用して、監視ファインチューニング(SFT)を通してLLMをトレーニングする。
• 参考スコア（独自算出の注目度）: 15.472375478049823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Large Language Models (LLMs) have significantly advanced natural language processing and automated decision-making. However, these models still encounter difficulties when performing complex reasoning tasks involving logical deduction and systematic planning, primarily due to their reliance on implicit statistical relationships without structured knowledge representation.Inspired by cognitive science and neurosymbolic AI, we introduce a novel approach to enhance LLMs through explicit structured reasoning. First, we convert unstructured data into structured formats by explicitly annotating reasoning steps. We then employ this structured dataset to train LLMs through Supervised Fine-Tuning (SFT). Additionally, we enhance the structured reasoning capabilities of LLMs using Group Relative Policy Optimization (GRPO), incorporating two innovative algorithms--MAX-Flow and Longest Common Subsequence (LCS)--which notably improve reasoning effectiveness and reduce computational complexity. Experimental results from fine-tuning a DeepSeek-R1-Distill-Qwen-1.5B model demonstrate concise reasoning, robust performance across various scenarios, and improved compatibility with optimization techniques, validating the efficacy of structured reasoning integration in LLMs.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) は、自然言語処理と自動意思決定に大きく進歩している。 しかしながら、これらのモデルは、論理的推論と体系的計画を含む複雑な推論タスクの実行において、主に構造化知識表現を伴わない暗黙的な統計的関係に依存しているため、依然として困難に直面している。 まず、非構造化データを明示的に推論ステップをアノテートすることで構造化形式に変換する。 次に、この構造化データセットを使用して、Supervised Fine-Tuning (SFT)を通してLLMをトレーニングします。 さらに,グループ相対ポリシー最適化(GRPO)を用いて,LLMの構造的推論能力を強化し,論理的推論効率の向上と計算複雑性の低減を図った,MAX-FlowとLongest Common Subsequence(LCS)という2つの革新的なアルゴリズムを取り入れた。 DeepSeek-R1-Distill-Qwen-1.5Bモデルの微調整による実験結果は、簡潔な推論、様々なシナリオにわたる堅牢な性能、最適化手法との互換性の改善、LLMにおける構造化推論統合の有効性の検証である。

関連論文リスト

• Large Language Models for Design Structure Matrix Optimization [4.513609458468522]
  複雑なエンジニアリングシステムでは、設計構造行列(DSM)を用いてコンポーネントや開発活動間の相互依存性をモデル化し分析することが多い。 フィードバックループを最小限に抑え、モジュール性やプロセス効率を向上させるためにDSM内の要素を再編成することは、エンジニアリング設計と運用において困難な最適化問題となっている。 本研究では, 大規模言語モデル (LLM) が, 高度な推論や文脈理解にその能力を活用することで, そうしたCO問題の解決を支援する可能性について検討する。
  論文  参考訳（メタデータ） (2025-06-11T13:53:35Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving [55.895917967408586]
  大規模な言語モデルによる数学的推論への既存のアプローチは、一般化可能性(英語版)にはChain-of-Thought(英語版)(CoT)、正確な計算にはTool-Integrated Reasoning(英語版)(TIR)に依存している。 本稿では, LLM が自然に推論戦略をパーソナライズできる適応型フレームワークである TATA (Teaching LLMs according their Aptitude) を提案する。
  論文  参考訳（メタデータ） (2025-02-17T16:56:23Z)
• Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning [40.069109287947875]
  我々はフォレスト・オブ・サート(FoT)と呼ばれる新しい推論フレームワークを提案する。 FoTは複数の推論木を統合し、複雑な論理問題を解くために集合的な意思決定を活用する。 FoTは、最も関連性の高い推論パスを選択するためにスパースアクティベーション戦略を採用し、効率と精度の両方を改善している。
  論文  参考訳（メタデータ） (2024-12-12T09:01:18Z)
• The Role of Deductive and Inductive Reasoning in Large Language Models [37.430396755248104]
  本稿では,大規模言語モデル(LLM)推論を強化するために,DID法を提案する。 DIDはリトルストーン次元と情報エントロピーを組み合わせた2次元複雑度評価システムを実装している。 その結果,推理精度と解の精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-10-03T18:30:47Z)
• Inductive Learning of Logical Theories with LLMs: An Expressivity-Graded Analysis [9.865771016218549]
  本研究は,Large Language Models(LLM)の機能と限界を分析するための,新しい体系的方法論を提案する。 この分析は、LLM性能に関する特定の推論課題の定量化を可能にする、複雑性グレードのw.r.t.ルール依存構造である。
  論文  参考訳（メタデータ） (2024-08-15T16:41:00Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。