論文の概要: Last Layer Logits to Logic: Empowering LLMs with Logic-Consistent Structured Knowledge Reasoning

• arxiv url: http://arxiv.org/abs/2511.07910v1
• Date: Wed, 12 Nov 2025 01:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.53701
• Title: Last Layer Logits to Logic: Empowering LLMs with Logic-Consistent Structured Knowledge Reasoning
• Title（参考訳）: ラスト・レイヤ・ロジット・トゥ・ロジック:論理一貫性を持つ構造化知識推論によるLLMの強化
• Authors: Songze Li, Zhiqiang Liu, Zhaoyan Gong, Xiaoke Guo, Zhengke Gui, Huajun Chen, Wen Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、膨大な非構造化テキストの事前学習を通じて、自然言語推論タスクにおいて優れた性能を達成する。 LLM出力の論理的欠陥を修正するために,ロジット強化とロジットフィルタリングをコアモジュールとして組み込んだ textitLogits-to-Logic フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 55.55968342644846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) achieve excellent performance in natural language reasoning tasks through pre-training on vast unstructured text, enabling them to understand the logic in natural language and generate logic-consistent responses. However, the representational differences between unstructured and structured knowledge make LLMs inherently struggle to maintain logic consistency, leading to \textit{Logic Drift} challenges in structured knowledge reasoning tasks such as Knowledge Graph Question Answering (KGQA). Existing methods address this limitation by designing complex workflows embedded in prompts to guide LLM reasoning. Nevertheless, these approaches only provide input-level guidance and fail to fundamentally address the \textit{Logic Drift} in LLM outputs. Additionally, their inflexible reasoning workflows cannot adapt to different tasks and knowledge graphs. To enhance LLMs' logic consistency in structured knowledge reasoning, we specifically target the logits output from the autoregressive generation process. We propose the \textit{Logits-to-Logic} framework, which incorporates logits strengthening and logits filtering as core modules to correct logical defects in LLM outputs. Extensive experiments show that our approach significantly improves LLMs' logic consistency in structured knowledge reasoning and achieves state-of-the-art performance on multiple KGQA benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、膨大な非構造化テキストを事前学習することで、自然言語の論理を理解し、論理一貫性のある応答を生成することで、自然言語推論タスクにおいて優れた性能を達成する。 しかし、非構造化知識と構造化知識との表現的差異は、LLMが本質的に論理的一貫性を維持するのに苦慮し、知識グラフ質問回答 (KGQA) のような構造化知識推論タスクにおける \textit{Logic Drift} の課題に繋がる。 既存の手法は、LSM推論を導くプロンプトに埋め込まれた複雑なワークフローを設計することで、この制限に対処する。 しかしながら、これらのアプローチは入力レベルのガイダンスしか提供せず、LLM出力の \textit{Logic Drift} に根本的な対処に失敗する。 さらに、彼らの柔軟な推論ワークフローは、異なるタスクや知識グラフに適応できない。 構造化知識推論におけるLLMの論理的整合性を高めるため,自動回帰生成プロセスから出力されるロジットを特にターゲットとした。 LLM出力の論理的欠陥を正すために、ロジット強化とロジットフィルタリングをコアモジュールとして組み込んだ「textit{Logits-to-Logic}」フレームワークを提案する。 大規模実験により,構造化知識推論におけるLLMの論理的整合性を大幅に向上し,複数のKGQAベンチマークにおける最先端性能を実現した。

関連論文リスト

• Do LLMs Dream of Discrete Algorithms? [0.7646713951724011]
  大規模言語モデル(LLM)は、人工知能の風景を急速に変化させてきた。 確率的推論への依存は、厳密な論理的推論を必要とする領域における有効性を制限する。 本稿では,論理ベースの推論モジュールでLLMを増強するニューロシンボリックアプローチを提案する。
  論文  参考訳（メタデータ） (2025-06-29T22:03:01Z)
• Logical Consistency of Large Language Models in Fact-checking [6.286017217366497]
  大規模言語モデル(LLM)は、様々な自然言語タスクを実行する上で大きな成功を収めている。 人間のようなテキストを生成する素晴らしい能力にもかかわらず、LLMは一貫性のない反応で悪名高い。
  論文  参考訳（メタデータ） (2024-12-20T17:42:25Z)
• Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up [9.42385235462794]
  大規模言語モデル(LLM)は、推論タスクにおいて顕著な性能を示すが、数学的および複雑な論理的推論において制限に直面している。 バッチ推論前のウォームアップフェーズにおいて,LLMの論理的推論能力を高めるために,Reversal of Thought (RoT)を提案する。 RoT は Preference-Guided Reverse Reasoning warm-up 戦略を利用している。
  論文  参考訳（メタデータ） (2024-10-16T07:44:28Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。