論文の概要: Probabilistic Soundness Guarantees in LLM Reasoning Chains

• arxiv url: http://arxiv.org/abs/2507.12948v1
• Date: Thu, 17 Jul 2025 09:40:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.436223
• Title: Probabilistic Soundness Guarantees in LLM Reasoning Chains
• Title（参考訳）: LLM共振チェインの確率音性保証
• Authors: Weiqiu You, Anton Xue, Shreya Havaldar, Delip Rao, Helen Jin, Chris Callison-Burch, Eric Wong,
• Abstract要約: ARES(Autoregressive Reasoning Entailment Stability)は,従来評価された音場のみに基づいて各クレームを判断することにより,誤りの伝播を防止する新しい確率的フレームワークである。 ARESは4つのベンチマークで最先端のパフォーマンスを達成し、非常に長い合成推論チェーン上で優れた堅牢性を示す。
• 参考スコア（独自算出の注目度）: 39.228405100824695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In reasoning chains generated by large language models (LLMs), initial errors often propagate and undermine the reliability of the final conclusion. Current LLM-based error detection methods often fail to detect propagated errors because they do not properly account for how earlier errors might corrupt judgments of downstream reasoning. To better detect such propagated errors, we introduce Autoregressive Reasoning Entailment Stability (ARES), a novel probabilistic framework that prevents error propagation by judging each claim based only on previously-assessed sound premises. This inductive method yields a nuanced score for each step and provides certified statistical guarantees of its soundness, rather than a brittle binary label. ARES achieves state-of-the-art performance across four benchmarks (72.1% Macro-F1, +8.2 points) and demonstrates superior robustness on very long synthetic reasoning chains, where it excels at detecting propagated errors (90.3% F1, +27.6 points).
• Abstract（参考訳）: 大規模言語モデル(LLM)によって生成される推論チェーンでは、初期エラーがしばしば伝播し、最終的な結論の信頼性を損なう。 現在のLLMベースの誤り検出法は、下流の推論の判断がいかに早く誤りを犯すかを適切に考慮していないため、伝播エラーを検出するのに失敗することが多い。 このような誤りをよりよく検出するために,従来評価された音場のみに基づいて各クレームを判断することにより,誤りの伝播を防止する新しい確率的フレームワークであるAutoregressive Reasoning Entailment Stability (ARES)を導入する。 この帰納法は各ステップごとにニュアンススコアを出力し、不安定なバイナリラベルではなく、その音質の統計的保証を提供する。 ARESは4つのベンチマーク(72.1%のマクロ-F1, +8.2点)で最先端のパフォーマンスを達成し、非常に長い合成推論チェーンにおいて優れた堅牢性を示し、伝播エラー(90.3%のF1, +27.6点)を検出する。

関連論文リスト

• Too Consistent to Detect: A Study of Self-Consistent Errors in LLMs [61.12688072239607]
  本研究は, 自己整合誤差を正式に定義し, 主流検出手法の評価を行う。 4種類の検出メソドは全て、自己整合性エラーを検出するのにかなり苦労している。 自己整合性誤差がLLM間でしばしば異なるという観測結果から, 単純かつ効果的なクロスモデルプローブ法を提案する。
  論文  参考訳（メタデータ） (2025-05-23T09:18:56Z)
• Search-Based Correction of Reasoning Chains for Language Models [72.61861891295302]
  CoT(Chain-of-Thought)推論は言語モデル(LM)の機能と透明性を向上した。 我々はCoTにおける各推論ステップを、その正確性を示す潜在変数で拡張する新しい自己補正フレームワークを導入する。 また,離散探索アルゴリズムであるサーチコレクタも導入した。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Contrastive Error Attribution for Finetuned Language Models [35.80256755393739]
  ノイズと誤記のデータは、自然言語生成(NLG)タスクにおける幻覚と不誠実なアウトプットの中核的な原因である。 望ましくないアウトプットにつながる低品質のトレーニングインスタンスを特定し、削除するフレームワークを導入します。 本研究では、勾配に基づく影響尺度のような既存の誤差追跡手法は、忠実度誤差を検出するために確実に機能しないことを示す。
  論文  参考訳（メタデータ） (2022-12-21T02:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。