論文の概要: Deep Quantile Aggregation
- arxiv url: http://arxiv.org/abs/2103.00083v1
- Date: Fri, 26 Feb 2021 23:21:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:20:00.250125
- Title: Deep Quantile Aggregation
- Title(参考訳): 深部量子アグリゲーション
- Authors: Taesup Kim, Rasool Fakoor, Jonas Mueller, Alexander J. Smola, Ryan J.
Tibshirani
- Abstract要約: 条件付き量子化推定は予測の不確実性を定量化する必要性によって動機づけられる主要な統計学の挑戦です。
条件付き量子モデル数を集約するための汎用フレームワークを提案する。
我々は,個々のモデルによって重み付けが異なる場合,柔軟性を高めるための重み付けセンシング戦略を考える。
- 参考スコア(独自算出の注目度): 91.70412391126274
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Conditional quantile estimation is a key statistical learning challenge
motivated by the need to quantify uncertainty in predictions or to model a
diverse population without being overly reductive. As such, many models have
been developed for this problem. Adopting a meta viewpoint, we propose a
general framework (inspired by neural network optimization) for aggregating any
number of conditional quantile models in order to boost predictive accuracy. We
consider weighted ensembling strategies of increasing flexibility where the
weights may vary over individual models, quantile levels, and feature values.
An appeal of our approach is its portability: we ensure that estimated
quantiles at adjacent levels do not cross by applying simple transformations
through which gradients can be backpropagated, and this allows us to leverage
the modern deep learning toolkit for building quantile ensembles. Our
experiments confirm that ensembling can lead to big gains in accuracy, even
when the constituent models are themselves powerful and flexible.
- Abstract(参考訳): 条件量子推定は、予測の不確実性を定量化したり、過剰に還元されることなく多様な人口をモデル化する必要性によって動機付けられた重要な統計的学習課題である。
このために多くのモデルが開発されている。
メタ視点を採用することで,予測精度を高めるために,任意の条件付き量子量モデルの集約を行う汎用フレームワーク(ニューラルネットワーク最適化に触発された)を提案する。
我々は、個々のモデル、量子レベル、特徴値によって重みが変化する柔軟性を高めるための重み付きアンサンブル戦略を検討する。
グラデーションをバックプロパゲーションできる単純な変換を適用することで、隣接するレベルにおける推定分位子を交差させないことを保証し、それによって分位数アンサンブルを構築するために現代のディープラーニングツールキットを活用できるのです。
実験により,構成モデル自体が強力で柔軟である場合でも,アンサンブルが精度を大幅に向上させることができることを確認した。
関連論文リスト
- Bayesian Quantile Regression with Subset Selection: A Posterior
Summarization Perspective [0.0]
既存の方法では、興味のある各量に対して個別に条件量子を推定するか、半パラメトリックモデルまたは非パラメトリックモデルを用いて条件分布全体を推定する。
本研究では,線形定量推定,不確実性定量化,およびベイズ決定解析の観点からのサブセット選択の基本的問題を提起する。
提案手法では,量子に焦点をあてた2乗誤差損失を導入し,効率的な閉形式計算を実現し,ワッサーシュタインに基づく密度推定との密接な関係を維持する。
論文 参考訳(メタデータ) (2023-11-03T17:19:31Z) - Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。
トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。
不均衡回帰タスクを解くために階層型分類器を構築することを提案する。
不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文 参考訳(メタデータ) (2023-10-26T04:54:39Z) - Scalable Estimation for Structured Additive Distributional Regression [0.0]
本稿では,勾配降下の考え方に基づいて,従来のノートパソコン上の任意の量のデータを扱うことができる新しいバックフィッティングアルゴリズムを提案する。
大規模なシミュレーション研究と、オーストリアにおける雷数予測の非常に困難でユニークな例を用いて、性能を評価した。
論文 参考訳(メタデータ) (2023-01-13T14:59:42Z) - Neural Spline Search for Quantile Probabilistic Modeling [35.914279831992964]
パラメトリックな仮定を伴わない観測データ分布を表現するために,非パラメトリックかつデータ駆動型手法であるニューラルスプラインサーチ(NSS)を提案する。
我々は,NASが,合成,実世界の回帰,時系列予測タスクにおいて,従来の手法よりも優れていたことを実証した。
論文 参考訳(メタデータ) (2023-01-12T07:45:28Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳(メタデータ) (2021-06-10T06:11:55Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳(メタデータ) (2021-05-07T03:33:00Z) - Regularization Strategies for Quantile Regression [8.232258589877942]
連続的な量子の分布に対するピンボール損失を最小化することは、特定の量子の予測のみを行う場合でも良い正則化器であることを示す。
格子モデルにより予測された分布を位置スケールの族に正規化できることを示す。
論文 参考訳(メタデータ) (2021-02-09T21:10:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。