論文の概要: Coherence Under Commitment: Probing Generalization and Vacuous Memorization in LLM Logical Reasoning
- arxiv url: http://arxiv.org/abs/2606.21083v1
- Date: Fri, 19 Jun 2026 04:12:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 08:30:27.677639
- Title: Coherence Under Commitment: Probing Generalization and Vacuous Memorization in LLM Logical Reasoning
- Title（参考訳）: コミット下のコヒーレンス:LLM論理推論における一般化と希少記憶の探索
- Abstract要約: コヒーレンス・アンダー・コミット(CUC: Coherence Under Commitment)は、一貫性と決定性を共同で測定する二重クエリ評価パラダイムである。
CUC は,(1) コミットメントスコア $c(varphi) = p(varphi) + p(lnotvarphi)$ 決定的な結果に割り当てられた確率質量の定量化,(2) 正規化YES/NOログ確率によるテキストbf決定論的推論プロトコルによるサンプリング分散の排除,(3) コヒーレンス・コミットトレードオフをメトリクスに運用する3方向決定フレームワーク (True/False/Uncertain) の3つの革新に寄与する。
- 参考スコア（独自算出の注目度）: 0.9023847175654603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) deployed for logical reasoning in knowledge-intensive domains exhibit a subtle but critical failure: coherence can be vacuously achieved through systematic abstention. A model that withholds commitment to either entailment or refutation satisfies negation consistency while providing no utility. We introduce Coherence Under Commitment (CUC), a dual-query evaluation paradigm that jointly measures consistency and decisiveness. CUC contributes three innovations: (1) a commitment score $c(\varphi) = p(\varphi) + p(\lnot\varphi)$ quantifying probability mass allocated to decisive outcomes; (2) a \textbf{deterministic elicitation protocol} via normalized YES/NO log probabilities, eliminating sampling variance; and (3) a 3-way decision framework (True/False/Uncertain) operationalizing the coherence-commitment trade-off into metrics. Experiments on four open-weight LLMs (1B-3B) across 204 FOLIO examples expose a sharp frontier. Qwen2.5-3B achieves near-zero contradiction ($\mathbb{E}[v_{\mathrm{neg}}]{=}0.025$) but only $7.4\%$ coverage, while TinyLlama-1.1B reaches $79.4\%$ coverage with violations on every example. Coherence-only evaluation would rank the abstaining model first; CUC exposes this as vacuous, and the frontier generalizes to LogiQA~v2 ($ρ{=}0.97$). We argue that evaluation must report both coherence and non-vacuous commitment and release a toolkit for standardized assessment.
- Abstract（参考訳）: 知識集約ドメインにおける論理的推論のために展開される大規模言語モデル(LLM)は、微妙ながら批判的な失敗を示す。
難読化や難読化へのコミットメントを保たないモデルは、実用性を提供しながら否定の一貫性を満足させる。
コヒーレンス・アンダー・コミット(CUC: Coherence Under Commitment)は、一貫性と決定性を共同で測定する二重クエリ評価パラダイムである。
CUC は、(1) コミットメントスコア $c(\varphi) = p(\varphi) + p(\lnot\varphi)$ 決定的な結果に割り当てられた確率質量の定量化、(2) 正規化された YES/NO ログのばらつきを排除して正規化された YES/NO ログ確率を経由する \textbf{deterministic elicitation Protocol} 、(3) コヒーレンス・コミットのトレードオフをメトリクスに運用する3方向決定フレームワーク(True/False/Uncertain)である。
204 FOLIO の4つのオープンウェイト LLM (1B-3B) 実験は、鋭いフロンティアを露呈する。
Qwen2.5-3Bは、ほぼゼロに近い矛盾($\mathbb{E}[v_{\mathrm{neg}}]{=}0.025$)を達成しているが、わずか7.4\%のカバレッジしか達成していない。
コヒーレンスのみの評価はまず吸収モデルにランク付けし、CUCはこれを空白として公開し、フロンティアはLogiQA~v2(ρ{=}0.97$)に一般化する。
我々は、評価はコヒーレンスと非空白のコミットメントの両方を報告し、標準化された評価のためのツールキットをリリースしなければならないと論じている。
関連論文リスト
- Compute-Bounded Security Assurance - Coverage, Verification, and Response under Resource Constraints [0.0]
追加の推論計算は、正しく解決されたセキュリティ保証タスクの数を増やすことができる。
我々は、成功、ユニークなカバレッジ、承認された証拠、運用上の保護を分離するリソース制約のあるフレームワークを開発する。
概念的防御アーキテクチャは、証拠分析、判断、運用権限を分離する。
論文 参考訳（メタデータ） (2026-09-07T13:07:55Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。
自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。
我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文 参考訳（メタデータ） (2026-05-14T20:27:32Z) - Measuring Evaluation-Context Divergence in Open-Weight LLMs: A Paired-Prompt Protocol with Pilot Evidence of Alignment-Pipeline-Specific Heterogeneity [1.253312107729806]
安全ベンチマークは、言語モデルが一度デプロイされたらどのように振る舞うかを示す証拠として、定期的に扱われるが、この推論は、振る舞いがプロンプトが評価のように見えるかどうかに依存する場合、脆弱である。
我々は、評価コンテキストのばらつきを、一定のタスクのフレーミングによって引き起こされる行動の観測可能な内部的変化として定義する。
パラフレーズ変動,ベンチマーク親しみ,およびフレーミング感度を制御しながら,オープンウェイトLLMで測定するペアプロンプトプロトコルを提案する。
論文 参考訳（メタデータ） (2026-05-07T14:23:31Z) - MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents [0.0]
検索強化エージェントに対するメモリ中毒攻撃を,統合評価フレームワークを用いたStackelbergゲームとして定式化する。
ASR-R: 0.25〜1.00$) による攻撃成功度を4倍に向上させる。
私たちの主な貢献は、勾配結合に接地したキャリブレーションに基づく防御であるMEMSADである。
論文 参考訳（メタデータ） (2026-05-05T08:15:41Z) - Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents [0.0]
自律的なAIエージェントは、完全に認証されたままで、振る舞いのドリフト、敵の適応、決定パターンのシフトによって、コードの変更なしに、安全が保たれる。
エージェントの管理は、未観測のリスクに対する限界を見積もることを減らす。
textbfRiskGateはこのフレームワークを、専用の統計推定器(KL分散、セグメント-vs-rest $z$-tests、シーケンシャルパターンマッチング)、フェイルセーフなモノトニックパイプライン、クローズドループオートパイロットでインスタンス化する。
論文 参考訳（メタデータ） (2026-04-27T16:46:15Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-04-07T18:30:18Z) - Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits [49.96531901205305]
我々は$f$-divergence-regularized offline policy learningを分析する。
逆Kullback-Leibler (KL) の発散に対して、単極集中性の下での最初の$tildeO(epsilon-1)$サンプル複雑性を与える。
これらの結果は,$f$-divergence-regularized policy learningの包括的理解に向けて大きな一歩を踏み出したものと考えられる。
論文 参考訳（メタデータ） (2025-02-09T22:14:45Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳（メタデータ） (2024-04-04T02:31:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。