論文の概要: Probing for Long-Horizon Deductive Reasoning Capabilities in Language Models with Prolog
- arxiv url: http://arxiv.org/abs/2610.11592v1
- Date: Thu, 08 Oct 2026 09:42:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.933486
- Title: Probing for Long-Horizon Deductive Reasoning Capabilities in Language Models with Prolog
- Title（参考訳）: 韻律付き言語モデルにおける長軸導出推論能力の探索
- Abstract要約: LLMは理論上、1Mトークン以上で長いコンテキストを処理できる。
しかし、そのような長いコンテキストに対して、単純な検索を超えてより深い推論を行うことができるのか?
本稿では,Prolog で表現された帰納論理に着目し,LLM の長期的推論能力について実験的に検討する。
- 参考スコア（独自算出の注目度）: 31.815245783855136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current frontier LLMs can theoretically process long contexts with 1M tokens or more. But to what extent can they go beyond simple retrieval and perform deeper reasoning over such long contexts? We empirically investigate long-horizon reasoning capabilities of LLMs, focusing on deductive logic expressed in Prolog. We construct ProloNg, a synthetic testbed to probe Prolog Long Reasoning, which systematically varies the complexity (reasoning depth) of problems, where the hardest case has a reasoning depth of 22 and 62k context length. We study 8 reasoning models across 5 families of frontier LLMs, and find that performance degrades substantially as reasoning depth grows, with the majority of models approaching chance beyond depth 10.
- Abstract（参考訳）: 現在のフロンティア LLM は理論上、1Mトークン以上で長いコンテキストを処理できる。
しかし、そのような長いコンテキストに対して、単純な検索を超えてより深い推論を行うことができるのか?
本稿では,Prolog で表現された帰納論理に着目し,LLM の長期的推論能力について実験的に検討する。
Prolog Long Reasoningを探索するための合成テストベッドであるProloNgを構築し、問題の複雑さ(推論深度)を体系的に変化させる。
本研究では,フロンティアLSMの5家系にわたる8つの推論モデルについて検討し,推理深度が増大するにつれて性能が著しく低下し,大半が深度10を超える確率に近づいた。
関連論文リスト
- LongReasonArena: A Long Reasoning Benchmark for Large Language Models [94.58086553970101]
LongReasonArenaは、Long Language Models (LLMs)のロング推論能力を評価するために設計されたベンチマークである。
入力を制御することで、必要な推論長を任意にスケールでき、最も困難なタスクに対して最大100万の推論トークンに達する。
論文 参考訳（メタデータ） (2025-08-26T18:41:53Z) - Are Large Language Models Capable of Deep Relational Reasoning? Insights from DeepSeek-R1 and Benchmark Comparisons [11.429641860623143]
3つの最先端大規模言語モデル(LLM)の推論能力の評価と比較を行った。
DeepSeek-R1は、複数のタスクと問題サイズにまたがる最高F1スコアを一貫して達成している。
DeepSeek-R1の長時間の連鎖反応の詳細な分析により、独自の計画と検証戦略が明らかになった。
論文 参考訳（メタデータ） (2025-06-29T07:37:49Z) - SCoRE: Benchmarking Long-Chain Reasoning in Commonsense Scenarios [33.72114830484246]
SCoRE(Scenario-based Commonsense Reasoning Evaluation)は、エンティティ、リレーション、論理ルールのシナリオスキーマからマルチホップ質問を合成するベンチマークである。
SCoREには100kのバイリンガル(中国語と英語の)複数選択質問が含まれており、推論チェーンは2-11ホップにまたがり、様々な難易度にグループ化されている。
論文 参考訳（メタデータ） (2025-03-08T13:40:10Z) - LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion [20.293369733522983]
LongReasonは、大規模言語モデルの長文推論能力を評価するための総合ベンチマークである。
LongReasonは、3つのタスクカテゴリにまたがる多様な推論パターンを持つ794の多重選択推論質問で構成されている。
LLMをLongReason上で評価した結果,コンテキスト長の増加に伴い,ほとんどのモデルが大幅な性能低下を経験していることが判明した。
論文 参考訳（メタデータ） (2025-01-25T05:32:14Z) - Training Large Language Models to Reason in a Continuous Latent Space [71.0274000348354]
我々は、言語を超えた推論の可能性を探るため、Coconut (Chain of Continuous Thought)と呼ばれる新しいパラダイムを導入します。
この状態を単語に復号するのではなく、連続した空間に直接埋め込む次の入力としてモデルにフィードバックします。
この潜在的推論パラダイムは、継続的思考が複数の代替の次のステップをエンコードできる高度な推論パターンを可能にする。
論文 参考訳（メタデータ） (2024-12-09T18:55:56Z) - LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。
しかし、それらは自然言語に対して本当に「理性」があるのだろうか?
この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
論文 参考訳（メタデータ） (2024-04-23T21:08:49Z) - Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs [95.07757789781213]
LLMの複雑な推論には2行のアプローチが採用されている。
1行の作業は様々な推論構造を持つLLMを誘導し、構造出力は自然に中間推論ステップと見なすことができる。
他方の行では、LCMのない宣言的解法を用いて推論処理を行い、推論精度は向上するが、解法のブラックボックスの性質により解釈性に欠ける。
具体的には,Prologインタプリタが生成した中間検索ログにアクセスし,人間可読推論に解釈可能であることを示す。
論文 参考訳（メタデータ） (2023-11-16T11:26:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。