論文の概要: ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning

• arxiv url: http://arxiv.org/abs/2502.01100v1
• Date: Mon, 03 Feb 2025 06:44:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:50.809665
• Title: ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning
• Title（参考訳）: ZebraLogic: 論理的推論のためのLLMのスケーリング限界について
• Authors: Bill Yuchen Lin, Ronan Le Bras, Kyle Richardson, Ashish Sabharwal, Radha Poovendran, Peter Clark, Yejin Choi,
• Abstract要約: 我々はLLM推論性能を評価するための総合的な評価フレームワークであるZebraLogicを紹介した。 ZebraLogicは、制御可能で定量化可能な複雑さを持つパズルの生成を可能にする。 その結果,複雑性が増大するにつれて,精度が著しく低下することが明らかとなった。
• 参考スコア（独自算出の注目度）: 92.76959707441954
• License:
• Abstract: We investigate the logical reasoning capabilities of large language models (LLMs) and their scalability in complex non-monotonic reasoning. To this end, we introduce ZebraLogic, a comprehensive evaluation framework for assessing LLM reasoning performance on logic grid puzzles derived from constraint satisfaction problems (CSPs). ZebraLogic enables the generation of puzzles with controllable and quantifiable complexity, facilitating a systematic study of the scaling limits of models such as Llama, o1 models, and DeepSeek-R1. By encompassing a broad range of search space complexities and diverse logical constraints, ZebraLogic provides a structured environment to evaluate reasoning under increasing difficulty. Our results reveal a significant decline in accuracy as problem complexity grows -- a phenomenon we term the curse of complexity. This limitation persists even with larger models and increased inference-time computation, suggesting inherent constraints in current LLM reasoning capabilities. Additionally, we explore strategies to enhance logical reasoning, including Best-of-N sampling, backtracking mechanisms, and self-verification prompts. Our findings offer critical insights into the scalability of LLM reasoning, highlight fundamental limitations, and outline potential directions for improvement.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)の論理的推論能力と,複雑な非単調推論におけるスケーラビリティについて検討する。 そこで本研究では,制約満足度問題(CSP)から導かれる論理グリッドパズルのLLM推論性能を評価するための総合評価フレームワークであるZebraLogicを紹介する。 ZebraLogicは、Llamaやo1モデル、DeepSeek-R1といったモデルのスケーリング限界を体系的に研究する上で、制御可能で定量的な複雑さを持つパズルの生成を可能にする。 広い範囲の検索空間の複雑さと多様な論理的制約を包含することにより、ZebraLogicは難易度の高い推論を評価するための構造化された環境を提供する。 私たちの結果は、複雑性が増大するにつれて、精度が著しく低下することを示している -- 複雑性の呪いという現象です。 この制限は、より大きなモデルでも持続し、推論時間計算が増加し、現在のLLM推論能力に固有の制約が示唆される。 さらに,Best-of-Nサンプリング,バックトラッキング機構,自己検証プロンプトなど,論理的推論を強化する戦略についても検討する。 我々の発見は、LLM推論のスケーラビリティに関する重要な洞察を与え、基本的な制限を強調し、改善のための潜在的な方向性を概説する。

関連論文リスト

• Reasoning-as-Logic-Units: Scaling Test-Time Reasoning in Large Language Models Through Logic Unit Alignment [21.12989936864145]
  CoT(Chain-of-Thought)のプロンプトによって,大規模言語モデル(LLM)の推論能力の向上が期待できる。 本稿では、生成したプログラムと対応するNL記述との間に論理単位を整列させることにより、より信頼性の高い推論経路を構築するReasoning-as-Logic-Units (RaLU)を提案する。
  論文  参考訳（メタデータ） (2025-02-05T08:23:18Z)
• JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
  我々は、大言語モデルの厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。 実験の結果,ほとんどのSOTA (State-of-the-art (SOTA) LLMは人体平均よりも著しく低下していることがわかった。
  論文  参考訳（メタデータ） (2025-01-24T15:49:10Z)
• VERUS-LM: a Versatile Framework for Combining LLMs with Symbolic Reasoning [8.867818326729367]
  本稿では,ニューロシンボリック推論の新しい枠組みであるVERUS-LMを紹介する。 VERUS-LMは汎用的なプロンプト機構を採用し、クエリからドメイン知識を明確に分離する。 提案手法は,LLMを著しく上回る,新しいデータセットの多種多様な推論に成功していることを示す。
  論文  参考訳（メタデータ） (2025-01-24T14:45:21Z)
• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• Inductive Learning of Logical Theories with LLMs: An Expressivity-Graded Analysis [9.865771016218549]
  本研究は,Large Language Models(LLM)の機能と限界を分析するための,新しい体系的方法論を提案する。 この分析は、LLM性能に関する特定の推論課題の定量化を可能にする、複雑性グレードのw.r.t.ルール依存構造である。
  論文  参考訳（メタデータ） (2024-08-15T16:41:00Z)
• CLR-Fact: Evaluating the Complex Logical Reasoning Capability of Large Language Models over Factual Knowledge [44.59258397967782]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる印象的な機能を示している。 本稿では,LLMの複雑な論理的推論能力の体系的評価について述べる。 LLMは一般世界の知識の推論に優れるが、専門分野固有の知識では重大な課題に直面している。
  論文  参考訳（メタデータ） (2024-07-30T05:40:32Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Puzzle Solving using Reasoning of Large Language Models: A Survey [1.9939549451457024]
  本稿では,Large Language Models (LLMs) のパズル解法における能力について検討する。 以上の結果から,LLM能力と人為的推論の相違が明らかとなった。 この調査は、LLMのパズル解決能力を向上させるために、新しい戦略とよりリッチなデータセットの必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-17T14:19:38Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。