論文の概要: Stability and L2-penalty in Model Averaging
- arxiv url: http://arxiv.org/abs/2311.13827v1
- Date: Thu, 23 Nov 2023 07:11:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 00:33:21.468001
- Title: Stability and L2-penalty in Model Averaging
- Title(参考訳): モデル平均化における安定性とl2ペナルティ
- Authors: Hengkun Zhu, Guohua Zou
- Abstract要約: 統計的学習理論からの安定性をモデル平均化に導入する。
安定性は、モデル平均化が適切な条件下での優れた性能と一貫性を確実にすることを示す。
また,モデル重みを制限しないL2ペナルティモデル平均化法を提案し,安定性と整合性を証明した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model averaging has received much attention in the past two decades, which
integrates available information by averaging over potential models. Although
various model averaging methods have been developed, there are few literatures
on the theoretical properties of model averaging from the perspective of
stability, and the majority of these methods constrain model weights to a
simplex. The aim of this paper is to introduce stability from statistical
learning theory into model averaging. Thus, we define the stability, asymptotic
empirical risk minimizer, generalization, and consistency of model averaging
and study the relationship among them. Our results indicate that stability can
ensure that model averaging has good generalization performance and consistency
under reasonable conditions, where consistency means model averaging estimator
can asymptotically minimize the mean squared prediction error. We also propose
a L2-penalty model averaging method without limiting model weights and prove
that it has stability and consistency. In order to reduce the impact of tuning
parameter selection, we use 10-fold cross-validation to select a candidate set
of tuning parameters and perform a weighted average of the estimators of model
weights based on estimation errors. The Monte Carlo simulation and an
illustrative application demonstrate the usefulness of the proposed method.
- Abstract(参考訳): モデル平均化は過去20年間に多くの注目を集めており、モデルの平均化によって利用可能な情報を統合している。
様々なモデル平均化手法が開発されているが、安定性の観点からモデル平均化の理論的な性質に関する文献は少なく、これらの手法の多くはモデル重み付けを単純なものに制限している。
本研究の目的は,統計的学習理論からモデル平均化への安定性の導入である。
したがって,モデル平均化の安定性,漸近的経験的リスク最小化,一般化,一貫性を定義し,それらの関係を考察する。
以上の結果から,モデル平均化による予測誤差の漸近的最小化が可能であるため,モデル平均化性能と妥当な条件下での一貫性が確保できることが示唆された。
また,モデル重みを制限することなくL2ペナルティモデル平均化法を提案し,安定性と整合性を示す。
チューニングパラメータ選択の影響を低減するために,10倍のクロスバリデーションを用いて,パラメータの候補セットを選択し,推定誤差に基づいてモデル重み付けの推定値の重み付け平均を実行する。
モンテカルロシミュレーションと図解的応用は,提案手法の有用性を実証するものである。
関連論文リスト
- Local Bayesian Dirichlet mixing of imperfect models [0.0]
ベイズモデルの平均化および混合技術による核質量の採掘能力について検討した。
予測精度と不確実性定量化の両方において,グローバルモデルと局所モデルの混合が優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-11-02T21:02:40Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。
本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。
新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
論文 参考訳(メタデータ) (2023-07-19T12:11:15Z) - Plan To Predict: Learning an Uncertainty-Foreseeing Model for
Model-Based Reinforcement Learning [32.24146877835396]
本稿では,モデルロールアウト処理を逐次決定問題として扱うフレームワークであるemphPlan To Predict (P2P)を提案する。
P2Pは、いくつかの課題のあるベンチマークタスクにおいて最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-01-20T10:17:22Z) - Sample-Efficient Reinforcement Learning via Conservative Model-Based
Actor-Critic [67.00475077281212]
モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。
本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。
CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-12-16T15:33:11Z) - Optimal Model Averaging: Towards Personalized Collaborative Learning [0.0]
連合学習では、参加ノード間のデータや目的の違いが、各ノードに対してパーソナライズされた機械学習モデルをトレーニングするためのアプローチを動機付けている。
そのようなアプローチの1つは、局所的に訓練されたモデルとグローバルモデルの間の重み付き平均化である。
局所モデルと比較して予測される2乗誤差を減少させるモデル平均化の正の量が常に存在することがわかった。
論文 参考訳(メタデータ) (2021-10-25T13:33:20Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳(メタデータ) (2021-09-06T14:52:58Z) - On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文 参考訳(メタデータ) (2020-12-24T16:08:29Z) - On the model-based stochastic value gradient for continuous
reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。
以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文 参考訳(メタデータ) (2020-08-28T17:58:29Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳(メタデータ) (2020-07-11T19:44:09Z) - Bidirectional Model-based Policy Optimization [30.732572976324516]
モデルに基づく強化学習アプローチは、計画と意思決定をサポートするためにフォワードダイナミクスモデルを活用する。
本稿では,前方モデル予測における精度への依存を減らすために,後方ダイナミクスモデルを構築することを提案する。
本稿では,二方向性モデルベースポリシー (BMPO) と呼ばれる新しい手法を開発し,前向きモデルと後向きモデルの両方を用いて,政策最適化のための短い分岐ロールアウトを生成する。
論文 参考訳(メタデータ) (2020-07-04T03:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。