論文の概要: Evidence-State Reliability Under Controlled Degradation: Parser-Validity Divergence in a Multi-Stage LLM Pipeline
- arxiv url: http://arxiv.org/abs/2608.21559v1
- Date: Fri, 21 Aug 2026 18:50:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.290531
- Title: Evidence-State Reliability Under Controlled Degradation: Parser-Validity Divergence in a Multi-Stage LLM Pipeline
- Title（参考訳）: 制御劣化下のエビデンス-状態信頼性:多段LLMパイプラインにおけるパーサー-粘性分散
- Abstract要約: 下流のステージで利用可能な証拠が不完全になったり、圧縮されたり、矛盾したりしても、マルチステージのLSMパイプラインは構造的に有効である。
本稿では, 中間的証拠が十分に完全であり, 基礎的であり, 内部的整合性があり, ステージに割り当てられた機能に利用できるかどうかを評価するための評価層であるエビデンス・ステート・信頼性(ESR)を紹介し, 運用する。
GLM-5.2を4つの証拠条件 (清浄, 圧縮, 部分ドロップアウト, ノイズ・コンフリクト) で評価した。
- 参考スコア（独自算出の注目度）: 1.6921396880325779
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-stage LLM pipelines can remain structurally valid even when evidence available to downstream stages becomes incomplete, compressed, or conflicting. This paper introduces and operationalizes Evidence-State Reliability (ESR), an evaluation layer concerned with whether intermediate evidence remains sufficiently complete, grounded, internally consistent, and usable for a stage's assigned function. ESR is evaluated separately from parser validity, which measures structural conformance. We evaluate the framework using GLM-5.2 on 60 sanitized base cases under four evidence conditions: clean, compressed-lossy, partial-dropout, and noisy-conflicting. Each condition was processed through decision, audit, and escalation stages. The design comprised 720 planned and ledgered calls, with 713 retained, sanitized execution rows. Across nine matched degraded-minus-clean condition-stage comparisons, all operational stage-success estimates were negative, and all 95% bootstrap intervals remained below zero. All nine parser-validity point estimates were positive, although the three partial-dropout intervals included zero. Among parser-valid degraded audit outputs, degradation detection was 1.0 in each degraded condition, while false-assurance rates remained non-zero; among parser-valid degraded escalation outputs, recovery was 0.0 in every degraded condition. The results show a bounded reliability-layer divergence in the evaluated pipeline: structural conformance can improve directionally while evidence-sensitive stage success deteriorates under the same controlled intervention. They also separate detection of degraded evidence from recovery. The conclusions are limited to the evaluated model configuration, pipeline design, selected sanitized cases, scoring procedure, and single scaled run.
- Abstract（参考訳）: 下流のステージで利用可能な証拠が不完全になったり、圧縮されたり、矛盾したりしても、マルチステージのLSMパイプラインは構造的に有効である。
本稿では, 中間的証拠が十分に完全であり, 基礎的であり, 内部的整合性を持ち, ステージに割り当てられた機能に利用できるかどうかを評価するための評価層であるエビデンス・ステート・信頼性(ESR)を紹介し, 運用する。
ESRは、構造適合性を測定するパーサの妥当性から別々に評価される。
GLM-5.2を4つの証拠条件 (清浄, 圧縮, 部分ドロップアウト, ノイズ・コンフリクト) で評価した。
各条件は、決定、監査、エスカレーションの段階を通じて処理された。
設計は、720の計画と、713の衛生化された実行列を含む、台帳による呼び出しで構成された。
9つの整合したデグレード・ミナス・クリーン条件-ステージ比較では、全ての運用段階・工程推定は負であり、95%のブートストラップ間隔はゼロ以下であった。
9つのパーサー値点推定値はいずれも正であったが, 3つの部分ドロップアウト間隔は0。
パーサー価劣化検査結果のうち, 劣化度は劣化条件毎に1.0, 偽測度は0で, パーサー価劣化評価結果中, 回復率は劣化条件毎に0.0であった。
その結果, 構造物の適合性は, 同じ制御介入下で, 証拠に敏感なステージ成功が悪化する一方, 方向性の整合性は向上することがわかった。
彼らはまた、回復から劣化した証拠の発見を分離した。
結論は、評価されたモデル構成、パイプライン設計、選択された衛生ケース、スコアリング手順、単一スケール実行に限られます。
関連論文リスト
- Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation [6.047519836191728]
有限行動ポリシークラス上でプロトコルレベルの識別可能性監査を形式化する。
監査はモデルコールをゼロにし、診断ケースを解決します。
このケースは、モデル推論の前に、どのように評価設計の妥当性を構造的に確認できるかを示す。
論文 参考訳（メタデータ） (2026-08-13T14:49:47Z) - Integration-First Structural Coverage for Embedded Software:Trace-Based Evidence, Hybrid Runtime Analysis, and Cross-Variant Consolidation [42.52742840006677]
本稿では,統合テストとシステムテストをベースライン測定として扱う統合ファーストカバレッジ戦略について述べる。
テストレベル、テスト実行、変種、ビルド構成にエビデンスをマージする統合レイヤであるHyper Coverageについても説明します。
論文 参考訳（メタデータ） (2026-08-13T14:46:33Z) - From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T13:37:38Z) - Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。
粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。
ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
論文 参考訳（メタデータ） (2026-08-04T23:48:36Z) - GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。
5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。
解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
論文 参考訳（メタデータ） (2026-08-03T17:55:24Z) - Conformalized Large Language Models under Configuration Shift [46.502741608809174]
コンフォーマル予測は不確実性定量化のための分布のないフレームワークである。
非整合性スコアは、単に固定モデルではなく、推論パイプラインによって引き起こされることが多い。
構成シフトがCPの妥当性を損なうことを示す。
論文 参考訳（メタデータ） (2026-08-02T19:34:41Z) - Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation [0.0]
エージェントAI評価パイプラインは、デプロイメント決定、安全認定、規制コンプライアンス要求を正当化するベンチマークスコアを生成する。
正式なフレームワークはまだ、これらのパイプラインのステージにおける妥当性の低下を特徴付けていない。
本稿では,タスク生成,人間シミュレーションキャリブレーション,自動判定の3層合成妥当性モデルを提案する。
論文 参考訳（メタデータ） (2026-08-01T17:50:12Z) - From Checker to Forecaster: Code-Owned Evaluation of Model-Generated Strategic Routes Under Delayed Ground Truth [0.0]
RouteCastはモデル生成型戦略ルートの仕組みをインスタンス化する。
暫定予測が作成され、後の結果で予測が評価される。
将来的な校正、因果決定の改善、経路分割の優位性、ドメイン間の妥当性は確立していない。
論文 参考訳（メタデータ） (2026-07-13T00:36:48Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。
このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
論文 参考訳（メタデータ） (2026-04-30T19:33:58Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。