論文の概要: Pushing LLMs to Their Logical Reasoning Bound: The Role of Data Reasoning Intensity

• arxiv url: http://arxiv.org/abs/2509.24836v1
• Date: Mon, 29 Sep 2025 14:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.042758
• Title: Pushing LLMs to Their Logical Reasoning Bound: The Role of Data Reasoning Intensity
• Title（参考訳）: LLMを論理的推論境界にプッシュする:データ推論強度の役割
• Authors: Zhen Bi, Zhenlin Hu, Jinnan Yang, Mingyang Chen, Cheng Deng, Yida Xue, Zeyu Yang, Qing Shen, Zhenfang Liu, Kang Zhao, Ningyu Zhang, Jungang Lou,
• Abstract要約: データ推論強度 (Data Reasoning Intensity, DRI) は, サンプルの潜在論理的推論複雑性を定量化する新しい指標である。 次に、学習データの論理的推論強度を体系的に強化する再認識最適化戦略を導入する。
• 参考スコア（独自算出の注目度）: 59.27594125465172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) highlight the importance of training data structure and quality in shaping reasoning behavior. However, most existing approaches focus on transforming data formats while neglecting the internal reasoning complexity of training samples, leaving the reasoning potential of data under-explored and underutilized. In this work, we posit that LLM logical reasoning performance is jointly constrained by the potential of the training data and the cognitive capacity of the model. To make this relationship measurable, we introduce Data Reasoning Intensity (DRI), a novel metric that quantifies the latent logical reasoning complexity of samples by decomposing and aggregating their logical structures. This allows us to analyze how well current LLMs utilize logical reasoning signals and identify performance gaps relative to data potential. Based on this insight, we introduce a re-cognizing optimization strategy that systematically enhances the logical reasoning intensity of training data.Rather than increasing data volume, our method re-optimizes existing samples to better align with the LLM's logical reasoning boundary. Extensive experiments show that our approach significantly improves performance and generalization over data-centric strategies. We further validate our method under a reinforcement learning framework. Our results indicate that prioritizing reasoning complexity in data rather than sheer scale or superficial form is essential to realizing LLMs' full cognitive potential.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、学習データ構造の重要性と、形状推論行動における品質を強調している。 しかしながら、既存のほとんどのアプローチでは、トレーニングサンプルの内部推論の複雑さを無視しながら、データフォーマットの変換に重点を置いている。 本研究では,LLM論理推論性能が,学習データのポテンシャルとモデルの認知能力によって協調的に制約されていることを示唆する。 この関係を測定可能にするために,データ推論インテンシティ (Data Reasoning Intensity, DRI) を導入する。 これにより、現在のLLMが論理的推論信号をどのように活用しているかを分析し、データポテンシャルに対する性能ギャップを特定することができる。 この知見に基づいて、トレーニングデータの論理的推論強度を体系的に向上する再認識最適化戦略を導入し、データ量を増やすのではなく、既存のサンプルを再最適化し、LLMの論理的推論境界に適合させる。 大規模な実験により,本手法はデータ中心戦略よりも性能と一般化を著しく向上させることが示された。 我々はさらに、強化学習の枠組みの下で、我々の方法を検証する。 以上の結果から,LLMの完全な認知能力を実現するには,スケールや表面形態よりもデータにおける推論複雑性の優先順位付けが不可欠であることが示唆された。

関連論文リスト

• Enhancing Large Language Models through Structured Reasoning [15.472375478049823]
  本稿では,Large Language Models (LLM) を明示的構造化推論により拡張する新しい手法を提案する。 まず、非構造化データを明示的に推論ステップをアノテートすることで構造化形式に変換する。 次に、この構造化データセットを使用して、監視ファインチューニング(SFT)を通してLLMをトレーニングする。
  論文  参考訳（メタデータ） (2025-06-25T08:36:12Z)
• Mapping the Minds of LLMs: A Graph-Based Analysis of Reasoning LLM [11.181783720439563]
  大規模言語モデル(LLM)は、拡張されたChain-of-Thought(CoT)生成を通じて洗練された推論能力を示す。 RLMは、数発のプロンプトによる性能劣化など、直感的で不安定な動作を示すことが多い。 RLMの推論過程をより良くモデル化するための統一的なグラフベース分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T03:54:57Z)
• Your Language Model May Think Too Rigidly: Achieving Reasoning Consistency with Symmetry-Enhanced Training [66.48331530995786]
  我々は、文脈から有用な情報を抽出する能力を向上させるデータ中心のアプローチであるsyMmetry-ENhanceD (MEND) Data Augmentationを提案する。 推論連鎖の増大を強調する既存の手法とは異なり,本手法は知識抽出段階におけるモデルロバスト性を向上させる。 論理的および算術的推論タスクの実験は、MENDが様々なクエリのバリエーションで推論性能を向上させることを示している。
  論文  参考訳（メタデータ） (2025-02-25T03:03:35Z)
• Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
  本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。 2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T03:39:09Z)
• Improving Large Language Models in Event Relation Logical Prediction [33.88499005859982]
  イベント関係抽出は、綿密な意味的理解と厳密な論理的推論を必要とする課題である。 本稿では,イベント関連論理の理解と適用におけるLLMの能力について,詳細な調査を行う。 本研究により,LLMは論理的に一貫した推論子ではないことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-13T14:53:06Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。