論文の概要: RAudit: A Blind Auditing Protocol for Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2601.23133v1
• Date: Fri, 30 Jan 2026 16:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.551152
• Title: RAudit: A Blind Auditing Protocol for Large Language Model Reasoning
• Title（参考訳）: RAudit: 大規模言語モデル推論のための盲点監査プロトコル
• Authors: Edward Y. Chang, Longling Geng,
• Abstract要約: 推論時間のスケーリングは、梅毒、暴走崩壊、早さの確実性といった推論の病理を増幅することができる。 基礎的な真理アクセスを伴わずにLCM推論を監査するための診断プロトコルであるRAuditを提案する。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference-time scaling can amplify reasoning pathologies: sycophancy, rung collapse, and premature certainty. We present RAudit, a diagnostic protocol for auditing LLM reasoning without ground truth access. The key constraint is blindness: the auditor evaluates only whether derivation steps support conclusions, enabling detection of trace-output inconsistency and, when latent competence exists, its recovery. RAudit measures process quality via CRIT-based reasonableness scores and varies critique formulation to study how social framing affects model response. We prove bounded correction and $O(\log(1/ε))$ termination. Experiments on mathematical reasoning (CAP-GSM8K) and causal judgment (CausalL2) reveal four mechanisms explaining model unreliability: (1) Latent Competence Suppression, where models derive correct answers then overwrite them under social pressure; (2) The False Competence Trap, where weaker judges mask sycophancy that stronger judges expose; (3) The Complexity-Vulnerability Tradeoff, where causal tasks induce more than 10 times higher sycophancy than mathematical tasks; and (4) Iatrogenic Critique, where authoritative correction harms weaker models. These findings challenge assumptions that capability implies robustness and that stronger feedback yields better outputs.
• Abstract（参考訳）: 推論時間のスケーリングは、梅毒、暴走崩壊、早さの確実性といった推論の病理を増幅することができる。 基礎的な真理アクセスを伴わずにLCM推論を監査するための診断プロトコルであるRAuditを提案する。 監査人は、導出ステップが結論を支持するかどうかのみを評価し、トレースアウトプットの不整合の検出と、潜在能力が存在する場合、その回復を可能にする。 RAuditは、CRITベースの合理性スコアを用いてプロセス品質を測定し、社会的フレーミングがモデル応答にどのように影響するかを研究するために批判的定式化を変化させる。 有界補正と$O(\log(1/ε))$終了を証明する。 数学的推論(CAP-GSM8K)と因果判断(CausalL2)の実験では、モデル不信頼性を説明する4つのメカニズムが明らかにされている。(1) モデルが正しい答えを導き、社会的圧力の下でそれらを上書きする「潜在能力」、(2) より弱い判断者がより強い判断を下す「偽能力」、(3) 因果的タスクが数学的タスクよりも10倍以上の頻度でサイコファンシーを誘発する「複雑性・脆弱性トレードオフ」、(4) 権威的補正が弱いモデルに害を与える「偶発的批判」。 これらの発見は、能力は堅牢性を示し、より強いフィードバックがより良い出力をもたらすという仮定に挑戦する。

関連論文リスト

• CoG: Controllable Graph Reasoning via Relational Blueprints and Failure-Aware Refinement over Knowledge Graphs [53.199517625701475]
  CoGはDual-Process Theoryにインスパイアされたトレーニング不要のフレームワークで、直観と熟考の相互作用を模倣している。 CoGは精度と効率の両方において最先端のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2026-01-16T07:27:40Z)
• Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
  本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。 ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。 複数のベンチマーク実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-01-08T06:57:03Z)
• ReEfBench: Quantifying the Reasoning Efficiency of LLMs [9.462320482705508]
  非侵襲的で包括的プロセス中心の推論評価のための新しいニューロシンボリックフレームワークを提案する。 分析の結果,拡張トークン生成は深い推論の前提条件ではないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-07T03:33:07Z)
• Distortion Instead of Hallucination: The Effect of Reasoning Under Strict Constraints [0.0]
  推論能力は、出力信頼性を向上させる自己検証プロセスとして注目されている。 厳密な制約の下で実験を行い、複数のモデルにまたがる推論の効果を調べる。 この結果から,制約遵守と事実的正確性とのトレードオフが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-04T11:35:39Z)
• Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
  PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。 我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
  論文  参考訳（メタデータ） (2025-11-21T13:01:28Z)
• Incentivizing Consistent, Effective and Scalable Reasoning Capability in Audio LLMs via Reasoning Process Rewards [24.40159537923851]
  音声大言語モデルにおけるロバストでスケーラブルな推論法を開発するための原理的手法を開発した。 MMAU 2.5 Pro と GPT-4o Audio をほぼ上回り、MMSU の推論タスクにおけるほぼ人間レベルの性能を向上する。
  論文  参考訳（メタデータ） (2025-10-23T06:18:10Z)
• Don't Take the Premise for Granted: Evaluating the Premise Critique Ability of Large Language Models [11.379764847748378]
  大規模言語モデル(LLM)は、しばしば欠陥や矛盾した前提を受け入れ、非効率な推論と信頼できない出力をもたらす。 このことは、入力前提におけるエラーを積極的に識別し、明示する能力として定義されたLSMのためのtextbfPremise Critique Aabilities を持つことの重要性を強調している。 我々は,3つの難易度に4つのエラータイプを組み込んで設計したtextbfPremise Critique Bench (PCBench) を,多面的評価指標と組み合わせて紹介する。
  論文  参考訳（メタデータ） (2025-05-29T17:49:44Z)
• ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
  大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。 既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。 ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-08T01:40:40Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。