論文の概要: Mixture of Experts with Uncertainty Voting for Imbalanced Deep
Regression Problems
- arxiv url: http://arxiv.org/abs/2305.15178v1
- Date: Wed, 24 May 2023 14:12:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 15:30:25.473469
- Title: Mixture of Experts with Uncertainty Voting for Imbalanced Deep
Regression Problems
- Title(参考訳): 不整合深部回帰問題に対する不確かさ投票専門家の混在
- Authors: Yuchang Jiang, Vivien Sainte Fare Garnot, Konrad Schindler, Jan Dirk
Wegner
- Abstract要約: 我々は、レグレッション・セッティングにMix-of-expertアプローチを適用する。
このアプローチを使用する際の大きな疑問は、複数の専門家からの予測をひとつのアウトプットに融合させる方法だ。
提案手法はMOUVと呼ばれ,各専門家が出力値だけでなく,その不確実性も予測する。
- 参考スコア(独自算出の注目度): 23.521155567039635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data imbalance is ubiquitous when applying machine learning to real-world
problems, particularly regression problems. If training data are imbalanced,
the learning is dominated by the densely covered regions of the target
distribution, consequently, the learned regressor tends to exhibit poor
performance in sparsely covered regions. Beyond standard measures like
over-sampling or re-weighting, there are two main directions to handle learning
from imbalanced data. For regression, recent work relies on the continuity of
the distribution; whereas for classification there has been a trend to employ
mixture-of-expert models and let some ensemble members specialize in
predictions for the sparser regions. Here, we adapt the mixture-of-experts
approach to the regression setting. A main question when using this approach is
how to fuse the predictions from multiple experts into one output. Drawing
inspiration from recent work on probabilistic deep learning, we propose to base
the fusion on the aleatoric uncertainties of individual experts, thus obviating
the need for a separate aggregation module. In our method, dubbed MOUV, each
expert predicts not only an output value but also its uncertainty, which in
turn serves as a statistically motivated criterion to rely on the right
experts. We compare our method with existing alternatives on multiple public
benchmarks and show that MOUV consistently outperforms the prior art, while at
the same time producing better calibrated uncertainty estimates. Our code is
available at link-upon-publication.
- Abstract(参考訳): 現実の問題、特に回帰問題に機械学習を適用する場合、データの不均衡は普遍的である。
トレーニングデータが不均衡であれば、学習はターゲット分布の密集した領域に支配され、その結果、学習された回帰器は疎有な領域で性能が低下する傾向にある。
オーバーサンプリングや再重み付けといった標準的な手段以外にも、不均衡なデータから学ぶための2つの主な方向があります。
回帰については、最近の研究は分布の連続性に依存しているが、分類では、混合・オブ・エキスパートモデルを採用し、いくつかのアンサンブルのメンバーがスパーサー領域の予測を専門とする傾向があった。
ここでは、専門家の混合アプローチを回帰設定に適応する。
このアプローチを使用する際の大きな疑問は、複数の専門家による予測をひとつのアウトプットにする方法だ。
確率的深層学習に関する最近の研究からインスピレーションを得て,個々の専門家の照会的不確実性に基づく融合を提案し,個別の集約モジュールの必要性を回避した。
提案手法はMOUVと呼ばれ,各専門家が出力値だけでなく,その不確実性も予測する。
提案手法は,複数の公開ベンチマークで既存の手法と比較し,mouvが先行技術よりも常に優れており,同時に不確実性の推定精度も向上していることを示した。
私たちのコードはリンクアップ公開で利用可能です。
関連論文リスト
- Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳(メタデータ) (2024-04-24T09:04:36Z) - Imbalance in Regression Datasets [0.9374652839580183]
我々は、レグレッションの不均衡が、これまで見過ごされてきた同様に重要な問題であると主張している。
データセットのターゲット分布の過大な表現と過大な表現のため、回帰器は単純なモデルに縮退する傾向にある。
論文 参考訳(メタデータ) (2024-02-19T09:06:26Z) - Engression: Extrapolation for Nonlinear Regression? [2.9761801768136253]
補間は、トレーニングサポート外のテストデータに遭遇することが一般的であるため、多くの統計学および機械学習アプリケーションにおいて重要である。
本研究の目的は,トレーニングサポートの境界において,信頼性がすぐに崩壊しない非線形回帰手法を提供することである。
我々の主な貢献は「エングレース」と呼ばれる新しい手法であり、その中核となるのは、前加法雑音モデルに対する分布回帰手法である。
論文 参考訳(メタデータ) (2023-07-03T08:19:00Z) - Variational Imbalanced Regression: Fair Uncertainty Quantification via
Probabilistic Smoothing [13.339286071690394]
既存の回帰モデルは、ラベル分布が不均衡である場合、精度と不確実性の推定の両方において不足する傾向にある。
変分不均衡回帰(VIR)と呼ばれる確率的深層学習モデルを提案する。
VIRは不均衡回帰において良好に機能するが、自然に副産物として妥当な不確かさを推定する。
論文 参考訳(メタデータ) (2023-06-11T06:27:06Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳(メタデータ) (2023-04-20T07:29:23Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Variation-Incentive Loss Re-weighting for Regression Analysis on Biased
Data [8.115323786541078]
モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。
回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
論文 参考訳(メタデータ) (2021-09-14T10:22:21Z) - Bayesian analysis of the prevalence bias: learning and predicting from
imbalanced data [10.659348599372944]
本稿では,モデル学習のための理論的および計算的枠組みと,有病率バイアスの存在下での予測について述べる。
原則的なトレーニング損失の代替として,要約曲線から操作点を選択することで,テスト時の手順を補完するものだ。
バックプロパゲーションを用いた(深い)学習の現在のパラダイムにシームレスに統合され、ベイズモデルと自然に結合する。
論文 参考訳(メタデータ) (2021-07-31T14:36:33Z) - Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware
Regression [91.3373131262391]
不確かさが唯一の確実性である。
伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。
現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
論文 参考訳(メタデータ) (2021-03-25T06:56:09Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。