論文の概要: Stability and L2-penalty in Model Averaging
- arxiv url: http://arxiv.org/abs/2311.13827v1
- Date: Thu, 23 Nov 2023 07:11:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 00:33:21.468001
- Title: Stability and L2-penalty in Model Averaging
- Title（参考訳）: モデル平均化における安定性とl2ペナルティ
- Authors: Hengkun Zhu, Guohua Zou
- Abstract要約: 統計的学習理論からの安定性をモデル平均化に導入する。
安定性は、モデル平均化が適切な条件下での優れた性能と一貫性を確実にすることを示す。
また,モデル重みを制限しないL2ペナルティモデル平均化法を提案し,安定性と整合性を証明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model averaging has received much attention in the past two decades, which
integrates available information by averaging over potential models. Although
various model averaging methods have been developed, there are few literatures
on the theoretical properties of model averaging from the perspective of
stability, and the majority of these methods constrain model weights to a
simplex. The aim of this paper is to introduce stability from statistical
learning theory into model averaging. Thus, we define the stability, asymptotic
empirical risk minimizer, generalization, and consistency of model averaging
and study the relationship among them. Our results indicate that stability can
ensure that model averaging has good generalization performance and consistency
under reasonable conditions, where consistency means model averaging estimator
can asymptotically minimize the mean squared prediction error. We also propose
a L2-penalty model averaging method without limiting model weights and prove
that it has stability and consistency. In order to reduce the impact of tuning
parameter selection, we use 10-fold cross-validation to select a candidate set
of tuning parameters and perform a weighted average of the estimators of model
weights based on estimation errors. The Monte Carlo simulation and an
illustrative application demonstrate the usefulness of the proposed method.
- Abstract（参考訳）: モデル平均化は過去20年間に多くの注目を集めており、モデルの平均化によって利用可能な情報を統合している。
様々なモデル平均化手法が開発されているが、安定性の観点からモデル平均化の理論的な性質に関する文献は少なく、これらの手法の多くはモデル重み付けを単純なものに制限している。
本研究の目的は,統計的学習理論からモデル平均化への安定性の導入である。
したがって,モデル平均化の安定性,漸近的経験的リスク最小化,一般化,一貫性を定義し,それらの関係を考察する。
以上の結果から,モデル平均化による予測誤差の漸近的最小化が可能であるため,モデル平均化性能と妥当な条件下での一貫性が確保できることが示唆された。
また,モデル重みを制限することなくL2ペナルティモデル平均化法を提案し,安定性と整合性を示す。
チューニングパラメータ選択の影響を低減するために,10倍のクロスバリデーションを用いて,パラメータの候補セットを選択し,推定誤差に基づいてモデル重み付けの推定値の重み付け平均を実行する。
モンテカルロシミュレーションと図解的応用は,提案手法の有用性を実証するものである。
関連論文リスト
- On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。
本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。
また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-10-21T18:31:04Z) - Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。
本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
論文 参考訳（メタデータ） (2024-06-23T20:34:18Z) - WASH: Train your Ensemble with Communication-Efficient Weight Shuffling, then Average [21.029085451757368]
ウェイト平均化手法は、アンサンブルの一般化と単一モデルの推論速度のバランスをとることを目的としている。
WASHは,最新の画像分類精度を実現するために,平均化のためのモデルアンサンブルを学習するための新しい分散手法である。
論文 参考訳（メタデータ） (2024-05-27T09:02:57Z) - Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。
最適モデルの復元が保証される混合整数最適化の定式化を開発する。
本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
論文 参考訳（メタデータ） (2024-03-28T22:45:38Z) - Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。
本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。
新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
論文 参考訳（メタデータ） (2023-07-19T12:11:15Z) - Sample-Efficient Reinforcement Learning via Conservative Model-Based
Actor-Critic [67.00475077281212]
モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。
本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。
CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-12-16T15:33:11Z) - Optimal Model Averaging: Towards Personalized Collaborative Learning [0.0]
連合学習では、参加ノード間のデータや目的の違いが、各ノードに対してパーソナライズされた機械学習モデルをトレーニングするためのアプローチを動機付けている。
そのようなアプローチの1つは、局所的に訓練されたモデルとグローバルモデルの間の重み付き平均化である。
局所モデルと比較して予測される2乗誤差を減少させるモデル平均化の正の量が常に存在することがわかった。
論文 参考訳（メタデータ） (2021-10-25T13:33:20Z) - On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文 参考訳（メタデータ） (2020-12-24T16:08:29Z) - On the model-based stochastic value gradient for continuous
reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。
以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文 参考訳（メタデータ） (2020-08-28T17:58:29Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Bidirectional Model-based Policy Optimization [30.732572976324516]
モデルに基づく強化学習アプローチは、計画と意思決定をサポートするためにフォワードダイナミクスモデルを活用する。
本稿では,前方モデル予測における精度への依存を減らすために,後方ダイナミクスモデルを構築することを提案する。
本稿では,二方向性モデルベースポリシー (BMPO) と呼ばれる新しい手法を開発し,前向きモデルと後向きモデルの両方を用いて,政策最適化のための短い分岐ロールアウトを生成する。
論文 参考訳（メタデータ） (2020-07-04T03:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。