論文の概要: Detangling robustness in high dimensions: composite versus model-averaged estimation

• arxiv url: http://arxiv.org/abs/2006.07457v1
• Date: Fri, 12 Jun 2020 20:40:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 04:34:56.222559
• Title: Detangling robustness in high dimensions: composite versus model-averaged estimation
• Title（参考訳）: 高次元におけるデタングリングロバスト性:合成とモデル平均推定
• Authors: Jing Zhou, Gerda Claeskens, Jelena Bradic
• Abstract要約: ロバスト法は、実際にはユビキタスであるが、正規化推定や高次元の文脈ではまだ完全には理解されていない。 本稿では,これらの設定におけるロバスト性をさらに研究し,予測に焦点を当てたツールボックスを提供する。
• 参考スコア（独自算出の注目度）: 11.658462692891355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust methods, though ubiquitous in practice, are yet to be fully understood in the context of regularized estimation and high dimensions. Even simple questions become challenging very quickly. For example, classical statistical theory identifies equivalence between model-averaged and composite quantile estimation. However, little to nothing is known about such equivalence between methods that encourage sparsity. This paper provides a toolbox to further study robustness in these settings and focuses on prediction. In particular, we study optimally weighted model-averaged as well as composite $l_1$-regularized estimation. Optimal weights are determined by minimizing the asymptotic mean squared error. This approach incorporates the effects of regularization, without the assumption of perfect selection, as is often used in practice. Such weights are then optimal for prediction quality. Through an extensive simulation study, we show that no single method systematically outperforms others. We find, however, that model-averaged and composite quantile estimators often outperform least-squares methods, even in the case of Gaussian model noise. Real data application witnesses the method's practical use through the reconstruction of compressed audio signals.
• Abstract（参考訳）: ロバスト法は実際にはユビキタスであるが、正規化推定や高次元の文脈ではまだ完全には理解されていない。 単純な質問でさえ、すぐに挑戦します。 例えば、古典統計理論はモデル平均と複合量子量の推定の同値性を特定する。 しかし、スパルサリティを促進するメソッド間の等価性についてはほとんど知られていない。 本稿では,これらの設定における堅牢性をさらに研究し,予測に焦点を当てたツールボックスを提供する。 特に,最適重み付きモデル平均化と合成$l_1$-正規化推定について検討した。 最適重みは漸近平均二乗誤差を最小限にすることで決定される。 このアプローチは、実際によく使われるように、完全選択の仮定なしに正規化の効果を取り入れている。 このような重みは予測品質に最適である。 広範なシミュレーション研究を通じて,1つの手法が他の手法よりも体系的に優れていることを示す。 しかし,ガウスモデルノイズの場合においても,モデル平均量と合成量子量推定器は最小二乗法を上回ることが少なくないことがわかった。 実データアプリケーションは、圧縮音声信号の再構成を通じて、この方法の実用的な使用を目撃する。

関連論文リスト

• Stabilizing Subject Transfer in EEG Classification with Divergence Estimation [17.924276728038304]
  脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。 理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。 我々は、これらの関係を2段階で強制する正規化罰則を設計する。
  論文  参考訳（メタデータ） (2023-10-12T23:06:52Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Network Estimation by Mixing: Adaptivity and More [2.3478438171452014]
  我々は、利用可能な任意のモデルを利用して、個々のパフォーマンスを改善する混合戦略を提案する。 提案手法は計算効率が高く,チューニングがほとんどない。 提案手法は,真のモデルが個々の候補に含まれる場合のオラクル推定と同等に動作することを示す。
  論文  参考訳（メタデータ） (2021-06-05T05:17:04Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• A bandit-learning approach to multifidelity approximation [7.960229223744695]
  マルチファイデリティ近似は、科学計算とシミュレーションにおいて重要な技術である。 異なる忠実度のデータを利用して正確な推定を行うためのバンディットラーニング手法を紹介します。
  論文  参考訳（メタデータ） (2021-03-29T05:29:35Z)
• Density Fixing: Simple yet Effective Regularization Method based on the Class Prior [2.3859169601259347]
  本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。 提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
  論文  参考訳（メタデータ） (2020-07-08T04:58:22Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。