論文の概要: Innovation-Residual Auditing of Autonomous Analysis Agents: Localization, Detection Limits, Error Control, and Identifiability
- arxiv url: http://arxiv.org/abs/2608.05490v1
- Date: Thu, 06 Aug 2026 00:42:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.689071
- Title: Innovation-Residual Auditing of Autonomous Analysis Agents: Localization, Detection Limits, Error Control, and Identifiability
- Title（参考訳）: 自律分析エージェントの革新的残留監査--局所化・検出限界・エラー制御・識別可能性-
- Abstract要約: 本論文は,誤差が全く局所化可能であるか否かを判定するスコアの選択を提供する。
次に、単一の監査された分析において、誤ったフラグ付けされた操作の割合を制御する手順を提示する。
- 参考スコア（独自算出の注目度）: 11.987280372027032
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Autonomous agents now carry out entire data analyses, selecting cohorts, joining tables, and fitting models with little step-by-step supervision. When such an analysis turns out to be wrong, someone must determine which operation caused it. A recent approach does this without any labelled mistakes, learning instead from analyses known to be sound and flagging operations that depart from what that model predicts; how reliable such audits are has not been studied. This paper supplies that analysis. The choice of score determines whether an error can be localized at all. If each operation is scored by how surprising it is given the operation immediately preceding it, then operations that merely inherit an earlier error are indistinguishable from correct ones, so one mistake produces one flag; scores computed against a longer reconstruction of the intended analysis instead spread a single mistake across many operations. We quantify how far they spread, and how to choose the comparison length when an error accumulates gradually rather than at once. We then give procedures that control the proportion of falsely flagged operations within a single audited analysis, requiring only that sound analyses be exchangeable rather than that the fitted model be correct, and we quantify how much the guarantees weaken when the model is imperfect or when the analysis was selected for review in a way that depends on its content. Finally we establish a limit on what any such audit can report: errors below a certain magnitude cannot be attributed at all, being indistinguishable from ordinary variation among sound analyses. This limit falls so slowly as more sound analyses are collected that at the representation sizes now in use a hundredfold increase reduces it by under two percent, so the dimension of the representation rather than the volume of training data is the binding constraint.
- Abstract（参考訳）: 自律エージェントは、データ分析全体を実行し、コホートを選択し、テーブルを結合し、ステップバイステップでモデルを適合させる。
このような分析が間違っていた場合、どの操作が原因かを誰かが判断しなければなりません。
最近のアプローチでは、ラベル付けされたミスをすることなく、そのモデルが予測するものから外れた、健全な分析とフラグ付け操作から学習している。
この論文はその分析に役立ちます。
スコアの選択は、エラーが全くローカライズできるかどうかを決定する。
それぞれの操作が、その直前の操作がどれだけ驚くかによってスコアされる場合、単に前のエラーを継承した操作は、正しい操作とは区別できないので、1つのミスが1つのフラグを生成し、意図された分析のより長い再構築に対して計算されたスコアは、代わりに多くの操作に1つのミスを分散させる。
それらの拡散距離を定量化し、エラーが一度ではなく徐々に蓄積されるときに比較長を選択する方法を示す。
次に, 単一監査分析において, 偽フラグ付き操作の比率を制御し, 適合モデルが正しいのではなく, 音声解析が交換可能であることを要求し, モデルが不完全である場合や, 解析が内容に依存した方法で選択された場合の保証がどの程度弱まるかを定量化する。
最後に、そのような監査が何を報告できるかの限界を定め、ある等級未満の誤差は、音響解析の通常のバリエーションと区別できない。
この制限は、より多くの音響分析が収集されるにつれて遅くなり、現在使用されている100倍の表現サイズでは2%以下に減少するので、トレーニングデータの体積よりも表現の次元が結合制約となる。
関連論文リスト
- From Subjective Judgments to Auditable Standards:Protocol-Guided AI Auditing of Website Redundancy [2.2917707112773593]
ウェブサイトの冗長性は、単一の固定された意味を持っていない。
我々は,繰り返し負荷,正規利用税,障害領域回復予備費を別々に測定するCORAを導入する。
論文 参考訳（メタデータ） (2026-08-21T07:17:35Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳（メタデータ） (2026-06-01T03:18:01Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - Beyond Completion: Probing Cumulative State Tracking to Predict LLM Agent Performance [9.771590610969918]
WMF-AM(Working Memory Fidelity-Active Manipulation)を紹介する。
その結果,20種類のオープンウェイトモデル (0.5B-35B, 13ファミリー) で10タスク・エージェント・バッテリを発売した。
論文 参考訳（メタデータ） (2026-03-28T17:25:11Z) - Self-Verification Dilemma: Experience-Driven Suppression of Overused Checking in LLM Reasoning [27.979418392479033]
大規模な推論モデル(LRM)は、反射を伴う長い推論トレースを生成することにより、強い性能を達成する。
その結果, 自己検証(再確認)により, 中間結果の確認が繰り返し行われることが判明した。
これは、自己検証の頻度と実際に役に立つ頻度のミスマッチを明らかにします。
過剰な検証を削減できる新しい経験駆動型テストタイムフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-03T12:58:23Z) - The Hidden Cost of Approximation in Online Mirror Descent [56.99972253009168]
オンラインミラー降下(OMD)は、最適化、機械学習、シーケンシャルな意思決定において多くのアルゴリズムの基盤となる基本的なアルゴリズムパラダイムである。
本研究では,不正確なOMDに関する系統的研究を開始し,正規化器の滑らかさと近似誤差に対する頑健さとの複雑な関係を明らかにする。
論文 参考訳（メタデータ） (2025-11-27T10:09:07Z) - What Does It Take to Build a Performant Selective Classifier? [30.90225954725644]
ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。
我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。
その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
論文 参考訳（メタデータ） (2025-10-23T05:48:40Z) - Probing for Arithmetic Errors in Language Models [86.8227317662622]
言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。
単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。
モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
論文 参考訳（メタデータ） (2025-07-16T16:27:50Z) - Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
キャリブレーション・リファインメント分解の新規な変分定式化について述べる。
我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
論文 参考訳（メタデータ） (2025-01-31T15:03:54Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - When and Why does a Model Fail? A Human-in-the-loop Error Detection
Framework for Sentiment Analysis [12.23497603132782]
本稿では,説明可能な特徴に基づく感情分析のための誤り検出フレームワークを提案する。
実験結果から,ループ内介入が限定された場合,未確認データの誤モデル予測を高精度に検出できることが示唆された。
論文 参考訳（メタデータ） (2021-06-02T05:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。