論文の概要: Revalidation Beats Stateful Routing for Scientific Surrogates Under Distribution Shift
- arxiv url: http://arxiv.org/abs/2609.29715v1
- Date: Mon, 31 Aug 2026 16:27:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.117728
- Title: Revalidation Beats Stateful Routing for Scientific Surrogates Under Distribution Shift
- Title(参考訳): 科学的サロゲートの流通シフトで、リババリデーションがステートフルなルーティングに勝る
- Abstract要約: サーロゲートモデルはしばしば開発中に選択され、新しい測定結果が届くとそのまま残される。
このような変更がステートフルな適応型コントローラを呼び出すのか、それとも新しいバッチ毎に候補モデルを検証するのに十分かどうかを問うた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Surrogate models are often chosen during development and then left in place as new measurements arrive. That practice becomes risky when noise, input support, or physical parameters change. We asked whether such changes call for a stateful adaptive controller, or whether it is enough to validate the candidate models again on each new batch. To study this question, we built RegimeShift-Surrogates, a reproducible streaming benchmark spanning eight analytic and dynamical tasks, four stationary or shifting regimes, ten held-out seeds, and eight classical, multilayer-perceptron, and Kolmogorov-Arnold network surrogates. The confirmatory run contains 30,720 model fits and 3,200 scored deployment windows. Choosing the model with the lowest validation loss in the current window yields mean log regret 0.091 against a per-window oracle; the best fixed model chosen in hindsight yields 0.192. The paired difference is -0.101 (hierarchical bootstrap 95% CI [-0.165, -0.040]; Holm-adjusted p = 0.0469), with revalidation ahead in 26 of 32 task-scenario combinations. None of the stateful alternatives, including exponential smoothing, dual-timescale adaptation, Page-Hinkley resets, or margin gating, improves the pooled result, and delayed bias correction makes it worse. Oracle choices also differ substantially by task: k-nearest neighbors dominate the damped oscillator, vanilla KAN is often selected for two-dimensional surfaces, and MLPs lead on the Runge and Van der Pol tasks. In this benchmark, fresh validation evidence is useful; carrying old evidence forward is often not.
- Abstract(参考訳): サーロゲートモデルはしばしば開発中に選択され、新しい測定結果が届くとそのまま残される。
ノイズや入力サポート、あるいは物理的なパラメータが変化すると、そのプラクティスは危険になります。
このような変更がステートフルな適応型コントローラを呼び出すのか、それとも新しいバッチ毎に候補モデルを検証するのに十分かどうかを問うた。
そこで我々はRegimeShift-Surrogatesを開発した。これは8つの解析的および動的タスクにまたがる再現可能なストリーミングベンチマークで、4つの定常的またはシフト的レシエーション、10つの保留種子、8つの古典的、多層パーセプトロンおよびコルモゴロフ-アルノルドネットワークサロゲートにまたがる。
確認作業には30,720台のモデルと3,200台の配置ウィンドウが含まれていた。
現在のウィンドウで最小のバリデーション損失でモデルを選択すると、ウィンドウごとのオラクルに対するログ後悔率は0.091となり、後向きで選択した最良の固定モデルは0.192となる。
ペアの違いは-0.101(階層的なブートストラップ95% CI [-0.165, -0.040];ホルム調整されたp = 0.0469)であり、32のタスクとシナリオの組み合わせのうち26で再評価される。
指数的滑らか化、二重時間スケール適応、ページ・ヒンクリーのリセット、マージンゲーティングを含むステートフルな代替手段はいずれも、プールされた結果を改善し、遅延バイアス補正が悪化する。
k-アネレストが減衰振動子を支配し、バニラカンが2次元の表面に対してしばしば選ばれ、MLPがランゲとファンデルポルのタスクに導かれる。
このベンチマークでは、新しい検証証拠は有用である。
関連論文リスト
- Where Does Agent Reliability Come From? A Cross-Benchmark Decomposition of Verification Loops, Specialist Models, and Scaffolding in a Production Enterprise Agent [0.0]
アーキテクチャが検証ループをインストールする1つのプロダクションシステムについて検討する。
ループの端から端までを計測し、経験的検証器混同行列を生成する。
論文 参考訳(メタデータ) (2026-07-19T03:20:33Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - Satori-SWE: Evolutionary Test-Time Scaling for Sample-Efficient Software Engineering [51.7496756448709]
言語モデル(LM)は、コーディングベンチマークではうまく機能するが、現実のソフトウェア工学のタスクでは苦労する。
既存のアプローチは、高品質なデータによる教師付き微調整に依存している。
本研究では, 生成を進化過程として扱うサンプル効率の高い手法であるテスト時間スケーリング(EvoScale)を提案する。
論文 参考訳(メタデータ) (2025-05-29T16:15:36Z) - FoMo-0D: A Foundation Model for Zero-shot Tabular Outlier Detection [24.40438381282677]
FoMo-0Dは、表データの0/0ショットODのための事前訓練されたファンデーションモデルである。
パラメータを微調整することなく、テストサンプルの(より低い/より低い)ラベルを直接予測できる。
57の実世界のデータセットに対する実験は、FoMo-0Dが非常に競争力があることを示している。
論文 参考訳(メタデータ) (2024-09-09T14:41:24Z) - DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。
最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。
我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
論文 参考訳(メタデータ) (2024-09-05T17:59:46Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳(メタデータ) (2024-04-02T05:34:33Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳(メタデータ) (2023-03-25T08:56:21Z) - Adaptive Selection of the Optimal Strategy to Improve Precision and
Power in Randomized Trials [2.048226951354646]
精度を最大化するために、どの変数とどの形式で調整アプローチを選択するかを示す。
このアプローチは、(nullの下で)Type-Iエラー制御を維持し、精度を大幅に向上させる。
実データに適用すると、全体およびサブグループ内で有意義な効率改善が見られる。
論文 参考訳(メタデータ) (2022-10-31T16:25:38Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。