論文の概要: Early-stopped aggregation: Adaptive inference with computational efficiency
- arxiv url: http://arxiv.org/abs/2604.14404v1
- Date: Wed, 15 Apr 2026 20:38:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:31.603096
- Title: Early-stopped aggregation: Adaptive inference with computational efficiency
- Title（参考訳）: アーリーストップアグリゲーション:計算効率を考慮した適応推論
- Authors: Ilsang Ohn, Shitao Fan, Jungbin Jun, Lizhen Lin,
- Abstract要約: 我々は、早期停止集約(ESA)と呼ばれる効率的なモデルアグリゲーションのための新しいフレームワークを提案する。
ESAは、アーリーストッピング基準を用いて少数の単純な値のみを計算し、これらのみを最終推論のために集約する。
3つの学習パラダイムにまたがるESAアプローチの適応的最適性について検討する。
- 参考スコア（独自算出の注目度）: 3.173215823388563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When considering a model selection or, more generally, an aggregation approach for adaptive statistical inference, it is often necessary to compute estimators over a wide range of model complexities including unnecessarily large models even when the true data-generating process is relatively simple, due to the lack of prior knowledge. This requirement can lead to substantial computational inefficiency. In this work, we propose a novel framework for efficient model aggregation called the early-stopped aggregation (ESA): instead of computing and aggregating estimators for all candidate models, we compute only a small number of simpler ones using an early-stopping criterion and aggregate only these for final inference. Our framework is versatile and applies to both Bayesian model selection, in particular, within the variational Bayes framework, and frequentist estimation, including a general penalized estimation setting. We investigate adaptive optimal property of the ESA approach across three learning paradigms. We first show that ESA achieves optimal adaptive contraction rates in the variational Bayes setting under mild conditions. We extend this result to variational empirical Bayes, where prior hyperparameters are chosen in a data-dependent manner. In addition, we apply the ESA approach to frequentist aggregation including both penalization-based and sample-splitting implementations, and establish corresponding theory. As we demonstrate, there is a clear unification between early-stopped Bayes and frequentist penalized aggregation, with a common "energy" functional comprising a data-fitting term and a complexity-control term that drives both procedures. We further present several applications and numerical studies that highlight the efficiency and strong performance of the proposed approach.
- Abstract（参考訳）: モデル選択や、より一般的には、適応的な統計的推論のための集約的アプローチを考える場合、事前知識の欠如のため、真のデータ生成プロセスが比較的単純である場合でも、不要な大規模なモデルを含む広範囲のモデル複雑度で推定器を計算する必要があることが多い。
この要件は、かなりの計算不効率をもたらす可能性がある。
そこで本研究では,全ての候補モデルに対して,計算とアグリゲーション推定を行う代わりに,早期停止基準を用いて少数の単純なモデルのみを計算し,これらのみを最終推論のために集約する,という,効率的なモデルアグリゲーション(ESA)のための新しいフレームワークを提案する。
我々の枠組みは多様であり、ベイズモデル選択、特に変分ベイズフレームワーク内でのベイズモデル選択と、一般的なペナル化推定設定を含む頻繁な推定の両方に適用できる。
3つの学習パラダイムにまたがるESAアプローチの適応的最適性について検討する。
まず, 温和条件下での変分ベイズ設定においてESAが最適適応収縮率を達成することを示す。
この結果は,従来のハイパーパラメータがデータに依存した方法で選択されるような,変動的な経験的ベイズにまで拡張する。
さらに, ペナライズベースおよびサンプル分割実装を含む頻繁なアグリゲーションにESAアプローチを適用し, 対応する理論を確立する。
証明したように、早急なベイズと頻繁なペナライズド・アグリゲーションの間には明確な統一があり、共通の「エネルギー」関数はデータ適合項と、両方の手順を駆動する複雑性制御項から構成される。
さらに,提案手法の効率性と強靭性を強調するいくつかの応用と数値的研究について述べる。
関連論文リスト
- CoLSE: A Lightweight and Robust Hybrid Learned Model for Single-Table Cardinality Estimation using Joint CDF [7.945011337356916]
カーディナリティ推定は、クエリ最適化の重要なコンポーネントである。
単点濃度推定のためのハイブリッド学習手法であるCoLSEを提案する。
実験の結果,CoLSEは精度,トレーニング時間,レイテンシ,モデルサイズにおいて良好なトレードオフを実現し,既存の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2025-12-14T10:08:20Z) - Symmetric Aggregation of Conformity Scores for Efficient Uncertainty Sets [6.673032375204486]
複数の予測器から非整合性スコアを集約する新しい手法であるSACP(Symmetric Aggregated Conformal Prediction)を提案する。
SACP はこれらのスコアを e-値に変換し、任意の対称アグリゲーション関数を用いてそれらを結合する。
我々はSACPが効率を継続的に改善し、しばしば最先端のモデルアグリゲーションベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2025-12-07T17:54:07Z) - Efficient Covariance Estimation for Sparsified Functional Data [51.69796254617083]
共分散関数のランダムノット(ランダムノット-空間)とB-スプライン(Bspline-Spatial)推定器は計算的に効率的である。
共分散の漸近的なポイントワイドは、ある規則性条件下でのスパース化された個々の軌跡に対して得られる。
論文 参考訳（メタデータ） (2025-11-23T00:50:33Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳（メタデータ） (2023-12-10T15:22:30Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳（メタデータ） (2023-10-12T23:06:52Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳（メタデータ） (2021-08-28T14:31:45Z) - Automatic selection of basis-adaptive sparse polynomial chaos expansions
for engineering applications [0.0]
スパースカオス展開のための3つの最新技術に基づく基礎適応的アプローチについて述べる。
我々は,大規模な計算モデルに対して,大域的近似精度の観点から広範なベンチマークを行う。
クロスバリデーションエラーによって導かれる新しい解法と基底適応性選択スキームを導入する。
論文 参考訳（メタデータ） (2020-09-10T12:13:57Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳（メタデータ） (2020-06-24T17:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。