論文の概要: Adaptive Experimentation Can Hide Model Error:Detection Limits and Falsification Budget
- arxiv url: http://arxiv.org/abs/2611.07529v1
- Date: Thu, 05 Nov 2026 06:40:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.570206
- Title: Adaptive Experimentation Can Hide Model Error:Detection Limits and Falsification Budget
- Title（参考訳）: 適応実験はモデル誤差を隠蔽できる:検出限界とファルシフィケーション予算
- Abstract要約: 適応設計は、間違ったモデルが適合する設定を繰り返し選択することで、ミスマッチを強化することができる。
計算可能な診断は、作業モデルの宣言された拡張に対する未解決誤差を測定する。
結果はパラメータ学習、モデル検査、検出器性能の分離をサポートし、普遍的に優れた設計方針を確立していない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: An experiment can be informative about the parameters of a working model and uninformative about whether that model is wrong. Adaptive design can reinforce this mismatch by repeatedly selecting settings where an incorrect model fits. We bound the power of any valid adequacy test in terms of the experimenter's own sampling distribution, then distinguish information absent from the selected data from information lost by the detector. A computable diagnostic measures unresolved error relative to a declared expansion of the working model. It motivates a training-free rule that reserves part of the design budget for falsification. The empirical record is mixed: the independently specified primary study fails detection eligibility, and a later numerator diagnostic fails its improvement criteria. After the frozen rule fails on fresh continuous-null panels, a disclosed secondary horizon-calibrated revision detects 35.8% of misspecified campaigns versus 31.7% for a class-separation control at T = 240, but has no resolved advantage at T = 480. In a corrected 289-unit measured replay it improves on random design and trails class-discrimination EIG. A conditional futility bound explains why remaining time matters without proving the gate constant or its power. These results support separating parameter learning, model checking and detector performance; they do not establish a universally superior design policy or prospective scientific discovery.
- Abstract（参考訳）: 実験は、作業モデルのパラメータについて、そしてそのモデルが間違っているかどうかを非形式的に知らせることができる。
適応設計は、間違ったモデルが適合する設定を繰り返し選択することで、このミスマッチを強化することができる。
我々は、実験者自身のサンプリング分布の観点から有効な精度テストのパワーを束縛し、選択したデータから欠落した情報を検出器が失った情報と区別する。
計算可能な診断は、作業モデルの宣言された拡張に対する未解決誤差を測定する。
これは、ファルシフィケーションのための設計予算の一部を予備するトレーニングフリーのルールを動機付けている。
実験記録は混合されており、独立に特定された一次研究は検出適性に失敗し、後の数値診断は改善基準に失敗する。
凍結された規則が新しい連続したヌルパネルで失敗した後、公表された二次水平校正による修正では、不正なキャンペーンの35.8%が検出され、T = 240のクラス分離制御では31.7%が検出されるが、T = 480では解決された優位性はない。
修正された289単位のリプレイでは、ランダム設計を改善し、クラス識別EIGをパスする。
条件付き実用性境界は、ゲート定数やそのパワーを証明することなく、残時間が重要な理由を説明する。
これらの結果は、パラメータ学習、モデル検査、検出器性能の分離をサポートし、普遍的に優れた設計方針や将来的な科学的発見を確立していない。
関連論文リスト
- Certifying Distributionally Robust Decisions from Projection Observations [0.5228101935101475]
固定平均+標準偏差目標を用いた有限ガウス射影実験について検討する。
我々は、未確認のリスク値にもかかわらず、そのセット全体で同意する決定を示す。
我々は,不整合な最適性を持つモデルの健全性,不整合性を証明し,固定チェックポイント認証の保証を行う。
論文 参考訳（メタデータ） (2026-10-25T18:37:26Z) - What Should World Models Forget? Stratified Retention for Continual Adaptation [50.195237138805886]
連続学習は、予め見てきたデータの劣化を失敗の証拠として扱い、定常的な予測対象の設定から継承される慣例である。
世界モデルはこの条件を満たさない。
彼らの予測対象は環境であり、それが変化するので、取得時に正確であった知識は後に誤りになり、欠陥ではなく必要な振る舞いを破棄する。
論文 参考訳（メタデータ） (2026-10-02T17:58:14Z) - The Delegation Blind Spot: Auditing Product Decisions from Agent Choices [2.731113456484581]
成功したエージェントの実行は、ユーザがどの製品に価値をもたらすかを識別する必要がない。
本稿では、宣言された観察チャンネルと製品価値を、互換性のある間隔や目撃者集団と対比する決定特異的監査を提案する。
論文 参考訳（メタデータ） (2026-09-22T16:15:55Z) - Predictive Likelihood Ratios for Language Model Watermark Detection [3.8200540264474907]
キー付き透かし検出テストは、秘密鍵から再構成された観測トークンと擬似ランダム変数間の依存度である。
我々は、不確実な確率欠陥と残尾分布よりも平均となる予測可能性比を構築した。
論文 参考訳（メタデータ） (2026-09-14T14:39:29Z) - Conformalized Large Language Models under Configuration Shift [46.502741608809174]
コンフォーマル予測は不確実性定量化のための分布のないフレームワークである。
非整合性スコアは、単に固定モデルではなく、推論パイプラインによって引き起こされることが多い。
構成シフトがCPの妥当性を損なうことを示す。
論文 参考訳（メタデータ） (2026-08-02T19:34:41Z) - Falsification-Based Verification of LLM-Generated Optimization Models: Sound Test Batteries and Their Detection Limits [1.7545090618311434]
大規模言語モデルは、決定問題の自然言語記述をソルバ対応最適化モデルに変換するが、それらは静かに失敗する。
本稿では,この設定に対するファルシフィケーションに基づく検証理論を考案する。
記述中の全ての数値は型付きスロットであり、候補モデルはスロット変換されたインスタンスのソルバ呼び出しによってのみテストされる。
論文 参考訳（メタデータ） (2026-07-18T05:32:37Z) - DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。
適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。
DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
論文 参考訳（メタデータ） (2026-06-30T20:57:51Z) - A prior-free blind detection of information leakage from model predictions [0.0]
本稿では,リーク診断が予測リスク/アウトカム則の関数となる決定論的枠組みを提案する。
正当モデルの校正と識別に適合する校正されたリークは、予測の空白関数により、正直な性能と区別できない。
ほぼ決定論的部分群は、非決定論的結果の正当な予測者が製造できない持続的単位純度ヘッドを生成する。
論文 参考訳（メタデータ） (2026-06-09T05:13:03Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-11-22T08:54:10Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳（メタデータ） (2021-10-12T17:21:41Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳（メタデータ） (2021-09-27T01:09:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。