論文の概要: DeltaLogic: Minimal Premise Edits Reveal Belief-Revision Failures in Logical Reasoning Models

• arxiv url: http://arxiv.org/abs/2604.02733v1
• Date: Fri, 03 Apr 2026 05:05:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.326342
• Title: DeltaLogic: Minimal Premise Edits Reveal Belief-Revision Failures in Logical Reasoning Models
• Title（参考訳）: DeltaLogic: 論理的推論モデルにおける最小限の予測-修正失敗を編集する
• Authors: Amit Dhanda,
• Abstract要約: 推論ベンチマークは通常、モデルが正しい答えを固定された前提セットから導き出すかどうかを評価する。 本稿では、自然言語推論の例を短いリビジョンのエピソードに変換するベンチマーク変換プロトコルであるDeltaLogicを紹介する。 固定的前提条件下での論理的能力は,局所的な証拠編集後の信念修正を意図しないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning benchmarks typically evaluate whether a model derives the correct answer from a fixed premise set, but they under-measure a closely related capability that matters in dynamic environments: belief revision under minimal evidence change. We introduce DeltaLogic, a benchmark transformation protocol that converts natural-language reasoning examples into short revision episodes. Each episode first asks for an initial conclusion under premises P, then applies a minimal edit δ(P), and finally asks whether the previous conclusion should remain stable or be revised. We instantiate DeltaLogic from FOLIO and ProofWriter and evaluate small causal language models with constrained label scoring. On a completed 30-episode Qwen evaluation subset, stronger initial reasoning still does not imply stronger revision behavior: Qwen3-1.7B reaches 0.667 initial accuracy but only 0.467 revision accuracy, with inertia rising to 0.600 on episodes where the gold label should change, while Qwen3-0.6B collapses into near universal abstention. There, Qwen3-4B preserves the same inertial failure pattern (0.650 initial, 0.450 revised, 0.600 inertia), whereas Phi-4-mini-instruct is substantially stronger (0.950 initial, 0.850 revised) but still exhibits non-trivial abstention and control instability. These results suggest that logical competence under fixed premises does not imply disciplined belief revision after local evidence edits. DeltaLogic therefore targets a distinct and practically important reasoning capability that complements existing logical inference and belief-updating benchmarks.
• Abstract（参考訳）: 推論ベンチマークは、モデルが固定された前提セットから正しい答えを導き出すかどうかを通常評価するが、それらは動的環境において重要な密接な関係のある能力(最小限の証拠変化による信念の修正)を計測する。 本稿では、自然言語推論の例を短いリビジョンのエピソードに変換するベンチマーク変換プロトコルであるDeltaLogicを紹介する。 各エピソードは、まず前提Pの下で最初の結論を求め、次に最小限の編集δ(P)を適用し、最後に、前の結論が安定か修正されるべきかを問う。 FOLIOとProofWriterからDeltaLogicをインスタンス化し、制約付きラベルスコアによる小さな因果言語モデルを評価する。 Qwen3-1.7Bは初期精度0.667に達するが、ゴールドラベルが変更されるべきエピソードでは慣性が0.600まで上昇し、Qwen3-0.6Bはほぼ普遍的な棄権状態に崩壊する。 ここでは、Qwen3-4Bは同じ慣性故障パターン(0.650初期、0.450改質、0.600慣性)を保ち、Phi-4-mini-instructは実質的に強い(0.950初期、0.850改質)が、それでも非自明な吸収と制御不安定を示す。 これらの結果から, 固定前提条件下での論理的能力は, 局所的証拠編集後の信念修正を意図していないことが示唆された。 そのためDeltaLogicは、既存の論理的推論と信念更新ベンチマークを補完する、明確かつ事実上重要な推論機能をターゲットにしている。

関連論文リスト

• Understanding Moral Reasoning Trajectories in Large Language Models: Toward Probing-Based Explainability [8.026492468995187]
  我々は,大規模言語モデルが推論段階を越えて倫理的枠組みをどのように構成するかを研究する。 道徳的推論には、体系的なマルチフレームワークの議論が伴う。 本稿では,LLMコヒーレンス評価と強く相関するモーラル表現一貫性(MRC)指標を提案する。
  論文  参考訳（メタデータ） (2026-03-16T23:51:30Z)
• How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
  推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。 その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
  論文  参考訳（メタデータ） (2026-01-04T18:04:23Z)
• When Small Models Are Right for Wrong Reasons: Process Verification for Trustworthy Agents [0.0]
  小さな言語モデルからの正しい回答の50～69%は、根本的な欠陥のある推論を含んでいる。 本稿では,レイタ間合意を実質的に検証したプロセスベース計量であるReasoning Integrity Score(RIS)を紹介する。 メタ認知は十分なモデルキャパシティを伴わずに混乱を増幅するのに対し、RAGは外部のエビデンスに基礎を置き、エラーを7.6%削減する。
  論文  参考訳（メタデータ） (2026-01-01T23:54:15Z)
• Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
  PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。 我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
  論文  参考訳（メタデータ） (2025-11-21T13:01:28Z)
• Incorporating Self-Rewriting into Large Language Model Reasoning Reinforcement [54.63337314382886]
  自己書き起こしフレームワークを導入し、モデルが独自の推論テキストを書き直し、その後、書き直し推論から学習し、内部思考プロセスの品質を向上させる。 アルゴリズム設計において、モデルの一貫した正当性によって定義される「単純な」サンプルのみを書き換える選択的な書き換え手法を提案する。 モデルサイズが異なる多様なタスクの実験は、自己書き換えの有効性を検証する。
  論文  参考訳（メタデータ） (2025-11-20T13:10:52Z)
• MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models [43.872922223495586]
  大きな推論モデル(LRM)は複雑な推論において強い能力を示すが、証拠に依存した事実問題に対する限界的な利得は限られている。 この制限は、モデルが推論中に正しい事実を識別するが、最終的な応答にそれらを組み込むことができない、推論と問合せのギャップに起因する。 本稿では,外部検証に頼らずに事実性を高めるフレームワークMR-ALIGNを提案する。
  論文  参考訳（メタデータ） (2025-10-27T15:00:54Z)
• Inducing Faithfulness in Structured Reasoning via Counterfactual Sensitivity [6.908972852063454]
  大規模言語モデルは、欠陥や無関係な推論トレースに依存しながら、正しい答えを生成することが多い。 本稿では,新しい学習目標であるtextbfCounterfactual Sensitivity Regularization (CSR)を紹介する。 CSRは、標準的な微調整とプロセスの監督に対する忠実度を最大70パーセント向上させる。
  論文  参考訳（メタデータ） (2025-09-01T15:18:46Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。