論文の概要: Are you Talking Logic to Me? Assessing Language Models Syllogistic Reasoning Capabilities

• arxiv url: http://arxiv.org/abs/2608.12374v1
• Date: Wed, 22 Jul 2026 08:29:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 01:32:04.600106
• Title: Are you Talking Logic to Me? Assessing Language Models Syllogistic Reasoning Capabilities
• Title（参考訳）: 論理学を私に話すのか? ソロジカル推論能力の言語モデルを評価する
• Abstract要約: 言語モデル(LM)は、シロジズムの推論のような論理的なタスクに苦しむ。 異なる形式的KR表記がシロメトリクス的推論に及ぼす影響について検討した。 そこで本研究では,ZSプロンプトを論理的定義で強化するために,シロメトリクスの分類法(SEF)を提案する。
• 参考スコア（独自算出の注目度）: 3.6047642906482142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) struggle with logical tasks like reasoning on syllogisms. It has been shown that Knowledge Representation (KR) plays a crucial role in expressing input information to help models solve tasks. This observation motivates our study of the impact of different formal KR notations on syllogistic reasoning by extending the FOLIO and P-FOLIO datasets. Our experiments on Small Language Models (SLMs) in Supervised Fine-Tuning (SFT) and Zero-Shot (ZS) settings show that the choice of input notation can yield performances competitive with natural language while enabling faster inference. We also propose a syllogistic categorization method (SEF) and use it to enrich ZS prompts with logical definitions, which boost reasoning in small models. We open-source our framework, Common Logic Grammar Construction (CLGC), as the first Python library for automatically generating syllogisms in KR notations and defining their SEF categories.
• Abstract（参考訳）: 言語モデル(LM)は、シロジズムの推論のような論理的なタスクに苦しむ。 知識表現(KR)は、モデルがタスクを解くのを助けるために入力情報を表現する上で重要な役割を担っていることが示されている。 この観察は、FOLIOデータセットとP-FOLIOデータセットを拡張して、様々な形式的なKR表記がシロジカル推論に与える影響について、我々の研究を動機付けている。 SFT(Supervised Fine-Tuning)およびZero-Shot(ZS)設定におけるSLM(Small Language Models)実験により,入力表記の選択が自然言語と競合し,高速な推論を可能にすることを示す。 また,理論的分類法(SEF)を提案し,ZSプロンプトを論理的定義で強化し,より小さなモデルでの推論を促進する。 我々は、KR表記におけるシロジズムを自動的に生成し、それらのSEFカテゴリを定義するための最初のPythonライブラリとして、私たちのフレームワークであるCLGCをオープンソース化した。

関連論文リスト

• A Syllogistic Probe: Tracing the Evolution of Logic Reasoning in Large Language Models [17.118221176971982]
  大規模言語モデル(LLM)が基礎となる論理的枠組みに類似した進化を示すかどうかを考察する。 実存輸入をプローブとして,従来の論理学および現代論理学のシロジズムを評価する。
  論文  参考訳（メタデータ） (2026-01-24T11:51:52Z)
• Teaching Small Language Models to Learn Logic through Meta-Learning [4.923078123348596]
  メタラーニングで微調整した小型モデル (1.5B-7B) は, 一般化において大きな効果を示した。 これらのメタ学習モデルは、我々のシロメトリクス推論タスクにおいて、GPT-4oおよびo3-miniを上回った。
  論文  参考訳（メタデータ） (2025-05-20T13:00:48Z)
• LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning [74.0242521818214]
  本稿では,大言語モデル(LLM)におけるインダクティブ(システム1)と帰納的/帰納的(システム2)の推論の比較力学を体系的に検討する。 我々は、制御されたアナログ推論環境、多様度(テキスト、視覚、記号)、難易度、タスク形式(MCQ/フリーテキスト)を利用する。 我々の分析によると、System 2のパイプラインは一般的に、特に視覚的/象徴的なモダリティや難しいタスクにおいて優れており、System 1はテキストやより簡単な問題に対して競争力がある。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [29.745218855471787]
  トークン化は多くの言語モジュールの現在のアーキテクチャにおいて必要なコンポーネントである。 トークン化は、合理的な人間的な言語のパフォーマンスに必要である、と我々は主張する。 本稿では,建築的選択,すなわち構成,思考のための言語の優越性について論じる。
  論文  参考訳（メタデータ） (2024-12-14T18:18:52Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures [104.32063681736349]
  本稿では,離散ラベルの代わりに自然言語定義を用いて述語-代名詞構造を記述する手法を提案する。 PropBankスタイルおよびFrameNetスタイル、依存性ベースおよびスパンベースSRLに関する実験と分析は、解釈可能な出力を持つフレキシブルモデルが必ずしも性能を犠牲にしないことを示す。
  論文  参考訳（メタデータ） (2022-12-02T11:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。