論文の概要: DeltaLogic: Minimal Premise Edits Reveal Belief-Revision Failures in Logical Reasoning Models
- arxiv url: http://arxiv.org/abs/2604.02733v1
- Date: Fri, 03 Apr 2026 05:05:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.326342
- Title: DeltaLogic: Minimal Premise Edits Reveal Belief-Revision Failures in Logical Reasoning Models
- Title(参考訳): DeltaLogic: 論理的推論モデルにおける最小限の予測-修正失敗を編集する
- Abstract要約: 推論ベンチマークは通常、モデルが正しい答えを固定された前提セットから導き出すかどうかを評価する。
本稿では、自然言語推論の例を短いリビジョンのエピソードに変換するベンチマーク変換プロトコルであるDeltaLogicを紹介する。
固定的前提条件下での論理的能力は,局所的な証拠編集後の信念修正を意図しないことを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning benchmarks typically evaluate whether a model derives the correct answer from a fixed premise set, but they under-measure a closely related capability that matters in dynamic environments: belief revision under minimal evidence change. We introduce DeltaLogic, a benchmark transformation protocol that converts natural-language reasoning examples into short revision episodes. Each episode first asks for an initial conclusion under premises P, then applies a minimal edit δ(P), and finally asks whether the previous conclusion should remain stable or be revised. We instantiate DeltaLogic from FOLIO and ProofWriter and evaluate small causal language models with constrained label scoring. On a completed 30-episode Qwen evaluation subset, stronger initial reasoning still does not imply stronger revision behavior: Qwen3-1.7B reaches 0.667 initial accuracy but only 0.467 revision accuracy, with inertia rising to 0.600 on episodes where the gold label should change, while Qwen3-0.6B collapses into near universal abstention. There, Qwen3-4B preserves the same inertial failure pattern (0.650 initial, 0.450 revised, 0.600 inertia), whereas Phi-4-mini-instruct is substantially stronger (0.950 initial, 0.850 revised) but still exhibits non-trivial abstention and control instability. These results suggest that logical competence under fixed premises does not imply disciplined belief revision after local evidence edits. DeltaLogic therefore targets a distinct and practically important reasoning capability that complements existing logical inference and belief-updating benchmarks.
- Abstract(参考訳): 推論ベンチマークは、モデルが固定された前提セットから正しい答えを導き出すかどうかを通常評価するが、それらは動的環境において重要な密接な関係のある能力(最小限の証拠変化による信念の修正)を計測する。
本稿では、自然言語推論の例を短いリビジョンのエピソードに変換するベンチマーク変換プロトコルであるDeltaLogicを紹介する。
各エピソードは、まず前提Pの下で最初の結論を求め、次に最小限の編集δ(P)を適用し、最後に、前の結論が安定か修正されるべきかを問う。
FOLIOとProofWriterからDeltaLogicをインスタンス化し、制約付きラベルスコアによる小さな因果言語モデルを評価する。
Qwen3-1.7Bは初期精度0.667に達するが、ゴールドラベルが変更されるべきエピソードでは慣性が0.600まで上昇し、Qwen3-0.6Bはほぼ普遍的な棄権状態に崩壊する。
ここでは、Qwen3-4Bは同じ慣性故障パターン(0.650初期、0.450改質、0.600慣性)を保ち、Phi-4-mini-instructは実質的に強い(0.950初期、0.850改質)が、それでも非自明な吸収と制御不安定を示す。
これらの結果から, 固定前提条件下での論理的能力は, 局所的証拠編集後の信念修正を意図していないことが示唆された。
そのためDeltaLogicは、既存の論理的推論と信念更新ベンチマークを補完する、明確かつ事実上重要な推論機能をターゲットにしている。
関連論文リスト
- Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores [31.709549159768727]
多様な推論ベンチマーク間で一貫した読み出しギャップを観察する。
隠れ状態プローブは、ネイティブシークエンススコアが完全に崩壊しても正解を復号することに成功した。
以上の結果から,無作為な内部論理を隠蔽する表現障害が明らかにゼロショット推論の欠点であることが明らかとなった。
論文 参考訳(メタデータ) (2026-08-31T16:43:55Z) - GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。
5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。
解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
論文 参考訳(メタデータ) (2026-08-03T17:55:24Z) - Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution [0.0]
大規模言語モデルは、論理的に健全に見えるが、実際にはその前提に依存しないチェーン・オブ・シント(CoT)推論を生成する。
インベンショナル・グラウンディング・監査,ブラックボックス,ステップレベルの前提依存性テストを導入する。
すべての監査証明書、生のアウトプット、再生スクリプトは、パブリックGitHubリポジトリで利用できる。
論文 参考訳(メタデータ) (2026-07-11T01:32:22Z) - Free Energy Heuristics: Fast-And-Frugal Cognition as Active Inference Under Uncertain Precision [0.0]
CoT(Chain-of-Thought)は、数学と記号的推論における大きな言語モデルの性能を改善する。
しかし、計画、倫理問題、モデルが自身をチェックできないタスクについて、さらなる推論は事態を悪化させます。
これはメタ不確実性(メタ不確実性)である、と我々は主張する。
論文 参考訳(メタデータ) (2026-06-14T16:04:09Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳(メタデータ) (2026-06-09T16:14:27Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳(メタデータ) (2026-04-03T15:19:46Z) - Understanding Moral Reasoning Trajectories in Large Language Models: Toward Probing-Based Explainability [8.026492468995187]
我々は,大規模言語モデルが推論段階を越えて倫理的枠組みをどのように構成するかを研究する。
道徳的推論には、体系的なマルチフレームワークの議論が伴う。
本稿では,LLMコヒーレンス評価と強く相関するモーラル表現一貫性(MRC)指標を提案する。
論文 参考訳(メタデータ) (2026-03-16T23:51:30Z) - How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。
その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
論文 参考訳(メタデータ) (2026-01-04T18:04:23Z) - When Small Models Are Right for Wrong Reasons: Process Verification for Trustworthy Agents [0.0]
小さな言語モデルからの正しい回答の50~69%は、根本的な欠陥のある推論を含んでいる。
本稿では,レイタ間合意を実質的に検証したプロセスベース計量であるReasoning Integrity Score(RIS)を紹介する。
メタ認知は十分なモデルキャパシティを伴わずに混乱を増幅するのに対し、RAGは外部のエビデンスに基礎を置き、エラーを7.6%削減する。
論文 参考訳(メタデータ) (2026-01-01T23:54:15Z) - Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。
我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
論文 参考訳(メタデータ) (2025-11-21T13:01:28Z) - Incorporating Self-Rewriting into Large Language Model Reasoning Reinforcement [54.63337314382886]
自己書き起こしフレームワークを導入し、モデルが独自の推論テキストを書き直し、その後、書き直し推論から学習し、内部思考プロセスの品質を向上させる。
アルゴリズム設計において、モデルの一貫した正当性によって定義される「単純な」サンプルのみを書き換える選択的な書き換え手法を提案する。
モデルサイズが異なる多様なタスクの実験は、自己書き換えの有効性を検証する。
論文 参考訳(メタデータ) (2025-11-20T13:10:52Z) - MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models [43.872922223495586]
大きな推論モデル(LRM)は複雑な推論において強い能力を示すが、証拠に依存した事実問題に対する限界的な利得は限られている。
この制限は、モデルが推論中に正しい事実を識別するが、最終的な応答にそれらを組み込むことができない、推論と問合せのギャップに起因する。
本稿では,外部検証に頼らずに事実性を高めるフレームワークMR-ALIGNを提案する。
論文 参考訳(メタデータ) (2025-10-27T15:00:54Z) - Inducing Faithfulness in Structured Reasoning via Counterfactual Sensitivity [6.908972852063454]
大規模言語モデルは、欠陥や無関係な推論トレースに依存しながら、正しい答えを生成することが多い。
本稿では,新しい学習目標であるtextbfCounterfactual Sensitivity Regularization (CSR)を紹介する。
CSRは、標準的な微調整とプロセスの監督に対する忠実度を最大70パーセント向上させる。
論文 参考訳(メタデータ) (2025-09-01T15:18:46Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳(メタデータ) (2025-04-07T02:42:07Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2025-03-06T15:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。