論文の概要: Refuse, Decompose, Refresh: A Claim-Safe Protocol for Closed-Loop AI Evaluation
- arxiv url: http://arxiv.org/abs/2609.20538v1
- Date: Thu, 17 Sep 2026 15:09:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.334718
- Title: Refuse, Decompose, Refresh: A Claim-Safe Protocol for Closed-Loop AI Evaluation
- Title（参考訳）: Refuse, Decompose, Refresh: クローズドループAI評価のためのクレームセーフなプロトコル
- Abstract要約: AI評価は完璧に再現可能であり、いまだに間違った主張を支持している。
3つのアクションを持つクレームセーフプロトコルを提案する。
プロトコルをアグリゲートのみのシミュレータでインスタンス化する。
- 参考スコア（独自算出の注目度）: 0.39287497907611874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An AI evaluation can be perfectly reproducible and still support the wrong claim. This risk is acute in closed-loop systems: policy determines visited states, observable components, and which failures leave a measurable trace. We propose a claim-safe protocol with three actions. Refuse: abstain when a clean reference stream or matched runtime comparison lacks support. Decompose: report protocol execution, operational false admission, and structural hypotheses separately rather than as one PASS/FAIL label. Refresh: treat distribution-shift alarms as requests to invalidate and recompute a reference map, not as fault evidence. We instantiate the protocol in an aggregate-only simulator with 24 policy components, three demand regimes, two fault-mask families, and independent development and heldout seeds. The preregistered heldout contains 1,440 cases and 21,600 partition rows. Only 55/72 regime-component units were reference-admitted and 54/55 remained runtime-admitted, making abstention part of the result. Stable false admission was 0/20 represented components, with a one-sided exact 95% upper bound of 0.1391 under a frozen 0.20 rule. Within admitted units, affected clean traffic outpredicted nominal fault-cell fraction: across 540 unit-arm rows nested in 20 component clusters, the cell-minus-traffic negative-log-likelihood difference was 0.1264 nats per row, with a 95% component-cluster interval of [0.0593, 0.1918]. A drift log shows why "null" must be reference-relative: clean fault-null streams triggered 15/15, 0/15, and 14/15 alarms across three regimes, while only the middle regime matched the frozen detector reference. Rather than a universal threshold, we contribute an executable contract linking observable support, statistical calibration, and justified claims.
- Abstract（参考訳）: AI評価は完璧に再現可能であり、いまだに間違った主張を支持している。
政策は訪問した状態、観測可能なコンポーネント、どの障害が測定可能なトレースを残すかを決定する。
3つのアクションを持つクレームセーフプロトコルを提案する。
再利用: クリーンな参照ストリームや一致したランタイム比較がサポートされていない場合の回避。
分解:1つのPASS/FAILラベルではなく、プロトコルの実行、運用上の誤認、構造仮説を別々に報告する。
Refresh: 障害証拠ではなく、参照マップの無効化と再計算の要求として、分散シフトアラームを扱います。
プロトコルを,24のポリシコンポーネント,3つの需要構造,2つのフォールトマスクファミリー,独立開発および保留種子を備えた集約型シミュレータでインスタンス化する。
事前登録されたホールトアウトには1,440のケースと21,600のパーティション行が含まれている。
55/72のレジーム構成ユニットのみが参照許可され、54/55は実行許可のままであり、その結果の一部が中断された。
安定な偽の受け入れは0/20で、一方の正確な95%の上限は0.1391であり、凍結した0.20の規則で規定された。
20個のコンポーネントクラスタに540個のユニットアーム列がネストされているが、セル-マイナス-トラフィックの負-ログ-様相の差は1列あたり0.1264ナットであり、95%のコンポーネント-クラスタ間隔は[0.0593, 0.1918]である。
クリーンなフォールト・ヌル・ストリームは3つのレジームで15/15、0/15、14/15のアラームを発生させ、中間のレジームのみが凍結検出器の参照と一致した。
普遍的なしきい値ではなく、観測可能なサポート、統計的キャリブレーション、正当化されたクレームをリンクする実行可能な契約に寄与する。
関連論文リスト
- When a High Score Is an Illusion: Certifying Genuine versus Repackaged Forecasting Skill [0.6372261626436676]
特定人口階級のコントラストの関連性を維持する課題を特徴付ける。
北京の大気質アーカイブでは、7つの学習した予測の共有スコアのうち、91.4%から94.5%の相互作用が報告されている。
論文 参考訳（メタデータ） (2026-09-16T13:51:41Z) - Observational Indistinguishability and Integrity Blind Regions in Hybrid Quantum-Classical Workflows [0.0]
本稿では,ハイブリッド量子古典的ワークフロー整合性のためのクレーム相対的エビデンス/参照フレームワークを提案する。
観測上の不明瞭さは、有限バッチ統計ミスとは異なる構造的な盲点をもたらす。
論文 参考訳（メタデータ） (2026-09-15T13:16:37Z) - Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems [40.47928908205563]
マルチエージェントLLMシステムは、一般的にオーケストレータを使用して、労働者のチームのためにタスクを分解し、テキストリフレクションによって改善する。
強い実証結果にもかかわらず、これらのシステムには調整、メモリ改善、外部検証の役割の統一的な説明が欠けている。
我々は,評価のための信頼ゲーティングと,断片的な静止環境に対する保証の再集計を行う。
実験では、これらのオブジェクトを環境条件付きメトリクスでインスタンス化し、予測調整法則とドリフト法則をテストする。
論文 参考訳（メタデータ） (2026-09-02T15:50:10Z) - Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。
有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
論文 参考訳（メタデータ） (2026-08-26T11:36:31Z) - Beyond the Transcript: Detecting Covert Co ordination in Latent Multi-Agent Communication [19.840551611758247]
言語モデルエージェントは、公開文書で見えない連続的な隠れた状態を通じて通信することができる。
本稿では,これらのプライベート通信チャネルの監視とステアリングのためのアクティベーション対応フレームワークであるVerifiable Latent Alignments (VLA)を紹介する。
論文 参考訳（メタデータ） (2026-08-19T17:43:22Z) - Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection [0.0]
ベンチマーク汚染はn-gram重なり、可能性に基づくメンバーシップ推論、カナリア文字列と診断される。
これを行う自然な方法はうまくいかないことを示し、測定を生き残るものを特定し、それを動作させる補正が、テストされるnullよりも多くのばらつきをもたらすことを見つけます。
論文 参考訳（メタデータ） (2026-08-12T23:27:20Z) - Causal Structure is Inducible but Functionally Decoupled: The Routing/Readout Boundary of a Typed Mechanism Library [0.0]
言語モデルが介入問題に答えるとき、それが実行しなければならない計算は、クエリが必要とするエビデンスの種類に依存する。
本稿では、トランスフォーマーが因果的知識をどう整理するかの分離について報告する: タイプレベルの監督によって誘導されるスロット・バイ・タイプ構造はルーティングを編成するが、応答の読み出しから切り離される。
論文 参考訳（メタデータ） (2026-08-12T08:10:01Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Cherry-pick Override: Unsafe Directional Commitment in LLM Judges under Mixed Evidence [14.905172804386973]
我々は、検証生成とコミットメント承認を分離する外部コミットメント制御層を論じる。
我々はCCOを明示的なタスク契約で定義し、同一のデノミネータ診断プロトコルで報告する。
論文 参考訳（メタデータ） (2026-06-05T20:51:51Z) - Hierarchical Certified Semantic Commitment for Byzantine-Resilient LLM-Agent Collaboration [30.310793549183117]
本稿では,BFTにインスパイアされたプロトコルH-CSC(Hierarchical Certified Semantic Commitment)を紹介する。
H-CSCはBFT対応バケット(0.31から2.04度)に低角偏差でコミットし、意図したようにBFTを超えるラウンド(n3f+1)の100%を中止する。
論文 参考訳（メタデータ） (2026-06-05T14:35:58Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。