論文の概要: Mallows-type model averaging: Non-asymptotic analysis and all-subset combination

• arxiv url: http://arxiv.org/abs/2505.02637v1
• Date: Mon, 05 May 2025 13:30:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.686
• Title: Mallows-type model averaging: Non-asymptotic analysis and all-subset combination
• Title（参考訳）: マロースモデル平均化:非漸近解析と全サブセット結合
• Authors: Jingfu Peng,
• Abstract要約: 最適全サブセットMAリスクを達成するには,基本的限界が存在することを示す。 本稿では,次元適応型$C_p$基準に基づく新しいMallows型MAプロシージャを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model averaging (MA) and ensembling play a crucial role in statistical and machine learning practice. When multiple candidate models are considered, MA techniques can be used to weight and combine them, often resulting in improved predictive accuracy and better estimation stability compared to model selection (MS) methods. In this paper, we address two challenges in combining least squares estimators from both theoretical and practical perspectives. We first establish several oracle inequalities for least squares MA via minimizing a Mallows' $C_p$ criterion under an arbitrary candidate model set. Compared to existing studies, these oracle inequalities yield faster excess risk and directly imply the asymptotic optimality of the resulting MA estimators under milder conditions. Moreover, we consider candidate model construction and investigate the problem of optimal all-subset combination for least squares estimators, which is an important yet rarely discussed topic in the existing literature. We show that there exists a fundamental limit to achieving the optimal all-subset MA risk. To attain this limit, we propose a novel Mallows-type MA procedure based on a dimension-adaptive $C_p$ criterion. The implicit ensembling effects of several MS procedures are also revealed and discussed. We conduct several numerical experiments to support our theoretical findings and demonstrate the effectiveness of the proposed Mallows-type MA estimator.
• Abstract（参考訳）: モデル平均化(MA)とアンサンブルは統計的および機械学習の実践において重要な役割を果たす。 複数の候補モデルを考えると、MA手法は重み付けと組み合わせに利用でき、しばしば予測精度が向上し、モデル選択(MS)法と比較して推定安定性が向上する。 本稿では,最小二乗推定器を理論的・実用的に組み合わせる際の2つの課題について述べる。 まず、任意の候補モデル集合の下で、Mallows の $C_p$ criterion を最小化することにより、最小二乗の MA に対していくつかのオラクル不等式を確立する。 既存の研究と比較すると、これらのオラクルの不等式はより速く過剰なリスクをもたらし、より穏やかな条件下で得られたMA推定器の漸近的最適性を直接示唆する。 さらに,本研究では,最小二乗推定器の最適全サブセット結合問題について検討する。 最適全サブセットMAリスクを達成するには,基本的限界が存在することを示す。 この限界を達成するために,次元適応型$C_p$基準に基づく新しいMallows型MAプロシージャを提案する。 いくつかのMSプロシージャの暗黙のアンサンブル効果も明らかにし、議論した。 提案手法の有効性を実証するため,いくつかの数値実験を行い,提案手法の有効性を検証した。

関連論文リスト

• Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [56.92178753201331]
  平均逆無限水平POMDPを未知の遷移モデルで扱う。 この障壁を克服する斬新でシンプルな推定器を提示する。
  論文  参考訳（メタデータ） (2025-01-30T22:29:41Z)
• MMD-OPT : Maximum Mean Discrepancy Based Sample Efficient Collision Risk Minimization for Autonomous Driving [2.361853878117761]
  MMD-OPTは任意の予測分布下での衝突のリスクを最小限に抑えるための試料効率のよい手法である。 本稿では,これらの2つの概念を用いて衝突リスク推定のための効率的なサロゲートのサンプルを定義する方法について述べる。
  論文  参考訳（メタデータ） (2024-12-12T09:57:10Z)
• Ensemble Prediction via Covariate-dependent Stacking [0.0]
  本研究は,CDST (Co-dependent stacking') という,アンサンブル予測の新しい手法を提案する。 従来の積み重ね方式とは異なり、CDSTはモデルウェイトを共変量の関数として柔軟に変化させ、複雑なシナリオにおける予測性能を向上させる。 以上の結果から,CDSTは時間的・時間的予測の問題に特に有用であり,様々なデータ分析分野の研究者や実践者にとって強力なツールとなることが示唆された。
  論文  参考訳（メタデータ） (2024-08-19T07:31:31Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Sample-Efficient Multi-Agent RL: An Optimization Perspective [103.35353196535544]
  一般関数近似に基づく汎用マルコフゲーム(MG)のためのマルチエージェント強化学習(MARL)について検討した。 汎用MGに対するマルチエージェントデカップリング係数(MADC)と呼ばれる新しい複雑性尺度を導入する。 我々のアルゴリズムは既存の研究に匹敵するサブリニアな後悔を与えることを示す。
  論文  参考訳（メタデータ） (2023-10-10T01:39:04Z)
• Model Agnostic Sample Reweighting for Out-of-Distribution Learning [38.843552982739354]
  我々は,OOD問題に効果的に対応するために,基本的手法であるtextbfAgnostic SamtextbfPLe rtextbfEweighting (textbfMAPLE)を提案する。 我々のキーとなる考え方は、トレーニングサンプルを効果的に再重み付けすることで、大規模モデルの標準的な経験的リスク最小化トレーニングがOOD一般化性能に優れたものとなるようにすることである。
  論文  参考訳（メタデータ） (2023-01-24T05:11:03Z)
• Exact and Approximation Algorithms for Sparse PCA [1.7640556247739623]
  本稿では,MISDP(MISDP)とMISDP(MISDP)について述べる。 次に、それらの連続緩和値の理論的最適性ギャップを分析し、それらが最先端の値よりも強いことを証明する。 市販の解法は一般にMISDPを解くのが難しいため,MISDPと同等の大きさのMILP(mixed-integer linear program)を用いてSPCAを任意の精度で近似する。
  論文  参考訳（メタデータ） (2020-08-28T02:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。