論文の概要: Not What You Meant: Can LLMs Follow a Specified Negation Semantics?
- arxiv url: http://arxiv.org/abs/2609.27517v1
- Date: Wed, 23 Sep 2026 08:14:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.940278
- Title: Not What You Meant: Can LLMs Follow a Specified Negation Semantics?
- Title(参考訳): LLMs Follow a Specified Negation Semantics?
- Abstract要約: 否定はドメイン間の一様解釈を持たない。
法的、規制的、医学的理由づけにおいて、意図された解釈は、効力のある読みに依存する。
我々は,否定的大言語モデルの読み出しをデフォルトで採用する方法について検討する。
- 参考スコア(独自算出の注目度): 4.575311337142799
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Negation does not carry a uniform interpretation across domains. In legal, regulatory, and medical reasoning, the intended interpretation depends on the reading in force -- open- versus closed-world, two- versus three-valued, and credulous versus skeptical. We study which reading of negation large language models adopt by default and whether they can override that preference when a different reading is explicitly specified. To this end, we introduce NAFBench, a procedural generator of solver-certified instances spanning four semantic viewpoints: SLDNF, well-founded semantics (WFS), and credulous and skeptical reasoning under stable-model semantics. The generator emits ground normal logic programs with controlled depth, width, and cycle structure. Each program is solved under all four viewpoints using SWI-Prolog, a well-founded semantics solver, and clingo, yielding up to four divergent labels. The programs are then verbalized into natural language under multiple framings and rule orderings that leave the answer invariant. The results expose a consistent gap. Across open-source models, following a specified negation semantics remains unsolved: the strongest models score 59--74% across the four semantic viewpoints, while the weakest score 31--67%. All models are order-sensitive on more than half of logically identical rule shufflings, while the two weaker models frequently overcommit on well-founded "undefined." Two frontier models reach 100% on the main fixed-complexity evaluation set, and a third, o4-mini, is near-perfect, falling only to 81% on well-founded "undefined." Delegating reasoning to a solver, fine-tuning on certified traces, or forcing an explicit three-valued verdict each partly closes the gap.
- Abstract(参考訳): 否定はドメイン間の一様解釈を持たない。
法的、規制的、医学的理由づけにおいて、意図された解釈は、力の読み方によって-----対-------対---------------------------------------------------------------------------------------------------- --------------------------------------------------------
本研究では, 否定的大言語モデルが既定で採用する読み出しと, 異なる読み出しが明示的に指定された場合に, その好みを上書きできるかどうかを検討する。
そこで本研究では, SLDNF, well-founder semantics (WFS), and credulous and skeptical reasoning under stable-model semanticsという,4つの意味的視点にまたがる解の手続き的生成であるNAFBenchを紹介する。
ジェネレータは、制御された深さ、幅、サイクル構造を持つ地上の正規論理プログラムを出力する。
各プログラムは、よく確立されたセマンティックスソルバであるSWI-Prologとclingoを使用して4つの視点で解決され、最大4つの発散ラベルが生成される。
プログラムは、複数のフレーミングとルール命令の下で自然言語に動詞化され、答えは不変である。
結果は一貫したギャップを露呈する。
もっとも強力なモデルは4つのセマンティック視点で59~74%、最も弱いものは31~67%である。
すべてのモデルは論理的に同一の規則シャッフルの半数以上で順序に敏感であり、一方2つの弱いモデルはよく確立された「未定義」で過小評価される。
2つのフロンティアモデルは主固定複雑度評価セットで100%に達し、第3のo4-miniはほぼ完全であり、十分に確立された"未定義"では81%にしか低下しない。
ソルバに推論を委譲したり、認定されたトレースを微調整したり、明示的な3値の判断を強制することは、ギャップを部分的に埋める。
関連論文リスト
- SemVerBench: Benchmarking LLM Comprehension of Version-Constraint Resolution Semantics [15.233613140316791]
SemVerBenchは、3つのエコシステムにわたるバージョン制約解決セマンティクスの最初のベンチマークである。
6つのフロンティアモデルを評価し,統計的に有意な自己評価は得られなかった。
タスクが検証可能で、100%正しいリゾルバが存在するため、ツールデリゲートは100%に達する。
論文 参考訳(メタデータ) (2026-09-10T07:34:44Z) - SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
論文 参考訳(メタデータ) (2026-09-08T15:11:32Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳(メタデータ) (2026-05-08T06:15:50Z) - Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。
ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
論文 参考訳(メタデータ) (2026-04-28T02:53:23Z) - Surface Sensitivity in Lean 4 Autoformalization [1.7855077077275565]
観察されたパラフレーズの感度は,形式化が成功する間に意味的差異が生じるのではなく,コンパイル境界の障害を反映していることがわかった。
この結果から,今後のトレーニング時間の介入はセマンティック層ではなく,コンパイル境界を目標とすべきであることが示唆された。
論文 参考訳(メタデータ) (2026-04-25T04:26:19Z) - Less Is More for Multi-Step Logical Reasoning of LLM Generalisation Under Rule Removal, Paraphrasing, and Compression [3.3492355863487275]
大規模言語モデル(LLM)は多くの自然言語処理において高い性能を達成するが、論理規則系の構造的摂動下での一般化は依然として不十分である。
本研究では,4つの応力試験による推理信頼性の検証を行う制御評価フレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-06T10:49:50Z) - What makes Reasoning Models Different? Follow the Reasoning Leader for Efficient Decoding [84.42056293290015]
推論モデルと非推論モデルの間のトークンレベルのミスアライメントを分析する。
本稿では,FoReaL-Decodingを提案する。
一般的な4つの数学推論ベンチマークにおいて、FoReaL-Decodingは理論FLOPを30から50%減らし、CoTの長さを最大40%減らした。
論文 参考訳(メタデータ) (2025-06-08T05:08:32Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
あいまいさの管理は人間の言語理解の重要な部分です。
文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。
我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
論文 参考訳(メタデータ) (2023-04-27T17:57:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。