論文の概要: Beyond Surface Forms: Symbolic Edits as a Test for Logical Reasoning with LLMs

• arxiv url: http://arxiv.org/abs/2608.30256v1
• Date: Mon, 31 Aug 2026 05:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.240657
• Title: Beyond Surface Forms: Symbolic Edits as a Test for Logical Reasoning with LLMs
• Title（参考訳）: 表面形状を超えて - LLMによる論理的推論テストとしてのシンボリック編集
• Abstract要約: 本稿では、論理的推論問題に対して、制御されたラベル保存編集を生成するためのツール駆動フレームワークを提案する。 これらの変化に対応して,様々な大規模言語モデル(LLM)を累積および個別の演算子によって編集し,その振る舞いを解析する。
• 参考スコア（独自算出の注目度）: 10.795521518273214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logical reasoning with large language models (LLMs) is a critical capability, as it reflects a system's ability to correctly deduce hypotheses from a given context using faithful deductive processes. However, LLM reasoning has often been shown to be sensitive to small surface-level variations in problem formulation, raising questions about whether models truly follow the underlying logical structure. Studying this behavior is challenging because the symbolic components of logical problems, such as operators and predicates, are difficult to systematically manipulate in natural language. We introduce a tool-driven framework for generating controlled, label-preserving edits to logical reasoning problems. Our method operates on symbolic representations of first-order logic and constraint satisfaction problem tasks, enabling targeted modifications to logical operators and other structural components before translating them back into natural language. Using this framework, we evaluate various LLMs under cumulative and individual operator edits and analyze their behavior in response to these changes. Our quantitative and qualitative analyses show that LLM reasoning behavior under controlled operator edits is inconsistent, regardless of model size or family: models sometimes adapt correctly to structural changes but often fail to track their logical consequences. The results from this automated stress test enable an evaluation of language models across different dimensions and help measure the reliability of their reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)を用いた論理的推論は、忠実な推論プロセスを用いて与えられた文脈から仮説を正しく推論するシステムの能力を反映する重要な能力である。 しかし、LSM推論は問題定式化の小さな表面レベルの変動に敏感であることがしばしば示され、モデルが真に基礎となる論理構造に従うかどうかという疑問が提起された。 この振る舞いを研究することは、演算子や述語といった論理問題の象徴的な構成要素は、自然言語で体系的に操作することが難しいため、難しい。 本稿では、論理的推論問題に対して、制御されたラベル保存編集を生成するためのツール駆動フレームワークを提案する。 本手法は,一階述語論理と制約満足度問題タスクの記号表現を演算し,論理演算子や他の構造成分を自然言語に翻訳する前に目的の修正を可能にする。 このフレームワークを用いて, 累積演算子および個別演算子による様々なLCMの編集・解析を行い, これらの変化に応答してそれらの挙動を解析する。 我々の量的および定性的な分析は、モデルのサイズや家族に関係なく、制御された演算子編集の下でのLCM推論挙動が矛盾していることを示している。 この自動ストレステストの結果は、異なる次元にわたる言語モデルの評価を可能にし、それらの推論の信頼性を測定するのに役立つ。

関連論文リスト

• SALA: Semantic-Aware Logical Alignment for Complex Reasoning in In-Context Learning [61.13104919370034]
  セマンティック・アウェア・論理アライメント・フレームワークであるSALAを提案する。 固定在庫に頼る代わりに、SALAはタスク固有の推論操作を自動的に学習する。 その後、これらの操作を連続的なセマンティック空間に埋め込み、動的時間ワープを使用して推論シーケンスを整列する。
  論文  参考訳（メタデータ） (2026-09-02T09:12:03Z)
• Words as Difference Makers: How Large Language Models Determine Causal Structure in Text [0.0]
  私は、大きな言語モデル(LLM)は差分論理に基づく特定の帰納的アプローチを採用していると論じます。 LLMの特定のアーキテクチャ特性を分析し、変動誘導におけるそれらの役割を解明する。
  論文  参考訳（メタデータ） (2026-06-21T10:40:47Z)
• Last Layer Logits to Logic: Empowering LLMs with Logic-Consistent Structured Knowledge Reasoning [55.55968342644846]
  大規模言語モデル(LLM)は、膨大な非構造化テキストの事前学習を通じて、自然言語推論タスクにおいて優れた性能を達成する。 LLM出力の論理的欠陥を修正するために,ロジット強化とロジットフィルタリングをコアモジュールとして組み込んだ textitLogits-to-Logic フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-11T07:08:27Z)
• Making Mathematical Reasoning Adaptive [61.45161826629692]
  大規模言語モデル(LLM)における適応推論を実現するためのAdaRフレームワークを提案する。 AdaRは可変値によって論理的に等価なクエリを合成し、これらのデータに基づいてRLVRでモデルを訓練し、スプリアス論理をペナルライズする。 実験により, AdaRはロバスト性や一般化を向上し, 数学的推論の大幅な改善を実現していることが示された。
  論文  参考訳（メタデータ） (2025-10-06T09:30:05Z)
• Towards Logically Sound Natural Language Reasoning with Logic-Enhanced Language Model Agents [3.5083201638203154]
  Logic-Enhanced Language Model Agents (LELMA) は、大きな言語モデルと形式論理を統合するフレームワークである。 LeLMAは自動形式化を用いて推論を論理表現に変換し、論理的妥当性を評価する。 LeLMAはエラー検出の精度が高く,自己修正による推論精度の向上を実現している。
  論文  参考訳（メタデータ） (2024-08-28T18:25:35Z)
• Logic Agent: Enhancing Validity with Logic Rule Invocation [24.815341366820753]
  Chain-of-Thoughtプロンプトは、推論タスク中に言語モデルの推論能力を増強するための重要なテクニックとして現れている。 本稿では,大規模言語モデルにおける推論プロセスの有効性向上を目的としたエージェントベースのフレームワークであるLogic Agent(LA)を紹介する。
  論文  参考訳（メタデータ） (2024-04-28T10:02:28Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• Improved Logical Reasoning of Language Models via Differentiable Symbolic Programming [12.984852480664378]
  事前訓練された大規模言語モデル(LM)は、スケールと構成性の進歩にもかかわらず、論理的推論を確実に行うのに苦労する。 本稿では,DSR-LMを提案する。DSR-LMは,事前学習したLMが事実知識の認識を制御し,帰納的推論を行う,微分可能なシンボリック推論フレームワークである。
  論文  参考訳（メタデータ） (2023-05-05T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。