論文の概要: Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation
- arxiv url: http://arxiv.org/abs/2608.13326v1
- Date: Thu, 13 Aug 2026 14:49:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.563293
- Title: Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation
- Title（参考訳）: 局所的精度を超えて:制御LDM推論評価のためのプロトコルレベル同定可能性監査
- Abstract要約: 有限行動ポリシークラス上でプロトコルレベルの識別可能性監査を形式化する。
監査はモデルコールをゼロにし、診断ケースを解決します。
このケースは、モデル推論の前に、どのように評価設計の妥当性を構造的に確認できるかを示す。
- 参考スコア（独自算出の注目度）: 6.047519836191728
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM benchmark scores can be precise even when the observation protocol does not identify the behavioral property they are intended to measure. In a controlled, solver-grounded setting, we formalize a protocol-level identifiability audit over a finite behavioral policy class: given policies H, observation support O, and estimand $τ$, we test whether O separates every pair with different $τ$. The audit requires zero model calls and resolves our diagnostic case: base-only observation collapses seven frozen deterministic policies into one equivalence class; full support yields seven classes and no cross-estimand collisions; every leave-one-out support retains a constructive collision witness. Empirically, both constrained-generation variants have pair-validity 1.0, yet base accuracy and selective-response fidelity diverge - 0.620 versus 0.324 across six balanced oracle-transition directions (cluster-bootstrap 95% CI [0.600, 0.642] vs. [0.304, 0.345]) - and the gap recurs on a second deterministic source (0.646 vs. 0.331). The audit also synthesizes a minimum identifying support $O^*$ for the frozen policy class: two cells instead of the full 36-cell tensor. This case shows how evaluation-design validity can be checked structurally before model inference and why base correctness does not determine intervention-response fidelity.
- Abstract（参考訳）: LLMベンチマークスコアは、観測プロトコルが測定対象の行動特性を特定していない場合でも正確である。
制御された解法基底設定では、有限な行動ポリシークラスに対してプロトコルレベルの識別可能性監査を形式化する: 与えられたポリシーH、観測支援O、推定$τ$、Oが異なる$τ$の全てのペアを分離するかどうかをテストする。
ベースオンリーの観察は、7つの凍結決定論的なポリシーを1つの等価クラスに崩壊させ、フルサポートは7つのクラスを産み出し、クロスエステマンド衝突は発生しない。
実証的には、どちらの世代もペア価1.0を持つが、ベース精度と選択応答フィデリティは6つのバランスの取れたオラクル遷移方向(クラスタ・ブートストラップ95% CI [0.600, 0.642] vs. [0.304, 0.345])で0.620対0.324であり、ギャップは第2の決定論的情報源(0.646 vs. 0.331)に再帰する。
監査はまた、凍結ポリシークラスに対する最小の識別サポート$O^*$:36セルテンソルの代わりに2セルを合成する。
このケースでは,モデル推論の前に,評価設計の妥当性を構造的に検証し,なぜベース精度が介入応答の忠実度を判断しないのかを示す。
関連論文リスト
- Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay [0.6768558752130311]
単一エージェント環境において,実行されたリプレイからポリシー条件の真偽を検査する。
段階的な信用シグナルは、限界整合シャッフル制御以上の信頼度の高いインクリメンタル忠実度を示すものではない。
信頼のみのルータは、チャンスレベルにおいて重要なステップを回復するが、1ターンあたりの審査コストを13.1%削減する。
論文 参考訳（メタデータ） (2026-08-20T08:04:00Z) - Guaranteed Adaptive Modality Acquisition: When the Policy Chooses Its Own Calibration Group [0.0]
マルチモーダルシステムは、入力のいくつかのみを保持する推論を開始し、残りをコストで取得することができる。
パターン条件保証が有効であり続けると特徴付け、2つの有限サンプル構成を与える。
逆例は、カリブレーション非依存のグルーピングマップに対して証明された保証が、ポリシーが端末群キャリブレーションに依存した場合、転送する必要はないことを示している。
論文 参考訳（メタデータ） (2026-08-16T04:19:31Z) - Suppression Sticks, Locality Is Fragile: A Closed-Loop Target-and-Control Audit of Task-Vector Negation in VLA Policies [33.432377306905735]
タスクベクトル算術は、モデルを修正するためのクローズドフォームな方法を提供するが、クローズドループロボット制御において、その振る舞いの局所性は未だ不明である。
マルチタスク・ビジョン・ランゲージ・アクション(VLA: Multitask Vision-Language-action)ポリシーから,タスク・ベクターごとのタスク・ベクター・サブトラクションのターゲット・アンド・コントロール・監査を行う。
論文 参考訳（メタデータ） (2026-08-05T10:59:53Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Distribution-First Population Simulation: Collapse, Calibration, and Recall in Non-WEIRD LLM Persona Modeling [0.0]
合成親和性ツールは、独立大規模言語モデル(LLM)エージェントとして各個人を動作させる。
このパラダイムには基本的な障害モードがあることを示し、分散優先の修正をそれに対して設定する。
論文 参考訳（メタデータ） (2026-07-17T15:45:57Z) - Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework [9.601233098598456]
本研究では,LLMにおける推論品質を測定するための多次元統合フレームワークを提案する。
4つのベンチマークから975項目にまたがる7つのLCM実験により、このフレームワークは精度のみのメトリクスから見えない振る舞いを明らかにしている。
論文 参考訳（メタデータ） (2026-05-23T17:03:42Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。
各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。
PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
論文 参考訳（メタデータ） (2026-05-13T18:01:05Z) - VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference [0.0]
VERDI(verification-Decomposed Inference Inference)は、構造化された裁判官から信頼を抽出する手法である。
VERDIは各評価をサブチェックに分解し、3つの構造信号を導出する。
3つの公開ベンチマークで、VERDIはGPT-4.1-miniでAUROC 0.72-0.91、GPT-5.4-miniで0.66-0.80を達成した。
論文 参考訳（メタデータ） (2026-05-11T23:39:19Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳（メタデータ） (2026-04-08T23:32:06Z) - The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation [1.8345614451086532]
RLHF 対応言語モデルは TruthfulQA 上で応答均質化を示す。
40-79%の質問は、10のi.i.d.サンプルに対して単一のセマンティッククラスタを生成する。
論文 参考訳（メタデータ） (2026-03-25T09:35:15Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。