論文の概要: Mixture of Experts with Uncertainty Voting for Imbalanced Deep Regression Problems

• arxiv url: http://arxiv.org/abs/2305.15178v2
• Date: Thu, 30 Nov 2023 18:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 18:44:59.296567
• Title: Mixture of Experts with Uncertainty Voting for Imbalanced Deep Regression Problems
• Title（参考訳）: 不整合深部回帰問題に対する不確かさ投票専門家の混在
• Authors: Yuchang Jiang, Vivien Sainte Fare Garnot, Konrad Schindler, Jan Dirk Wegner
• Abstract要約: 本研究では,不均衡な回帰問題に対するエキスパートの混合手法を提案する。 従来の回帰損失を負の対数類似度に置き換え、サンプルワイドのアレタリックな不確実性も予測する。 このような損失が不均衡をうまく扱えることを示した。
• 参考スコア（独自算出の注目度）: 22.041067758144077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data imbalance is ubiquitous when applying machine learning to real-world problems, particularly regression problems. If training data are imbalanced, the learning is dominated by the densely covered regions of the target distribution, consequently, the learned regressor tends to exhibit poor performance in sparsely covered regions. Beyond standard measures like over-sampling or re-weighting, there are two main directions to handle learning from imbalanced data. For regression, recent work relies on the continuity of the distribution; whereas for classification there has been a trend to employ mixture-of-expert models and let some ensemble members specialize in predictions for the sparser regions. In our method, dubbed MOUV, we propose to leverage recent work on probabilistic deep learning and integrate it in a mixture-of-experts approach for imbalanced regression. We replace traditional regression losses with negative log-likelihood which also predicts sample-wise aleatoric uncertainty. We show experimentally that such a loss handles the imbalance better. Secondly, we use the readily available aleatoric uncertainty values to fuse the predictions of a mixture-of-experts model, thus obviating the need for a separate aggregation module. We compare our method with existing alternatives on multiple public benchmarks and show that MOUV consistently outperforms the prior art, while at the same time producing better calibrated uncertainty estimates. Our code is available at link-upon-publication.
• Abstract（参考訳）: 現実の問題、特に回帰問題に機械学習を適用する場合、データの不均衡は普遍的である。 トレーニングデータが不均衡であれば、学習はターゲット分布の密集した領域に支配され、その結果、学習された回帰器は疎有な領域で性能が低下する傾向にある。 オーバーサンプリングや再重み付けといった標準的な手段以外にも、不均衡なデータから学ぶための2つの主な方向があります。 回帰については、最近の研究は分布の連続性に依存しているが、分類では、混合・オブ・エキスパートモデルを採用し、いくつかのアンサンブルのメンバーがスパーサー領域の予測を専門とする傾向があった。 そこで本研究では, 確率的深層学習に関する最近の研究を活用し, 不均衡回帰のための総合的手法に組み入れることを提案する。 従来の回帰損失を負のログ類似度に置き換え,サンプル単位のアレエータ的不確実性も予測する。 このような損失が不均衡をうまく扱えることを示した。 第2に、利用可能なアレタリック不確実性値を用いて、混合専門家モデルの予測を融合させ、個別のアグリゲーションモジュールの必要性を回避した。 提案手法は,複数の公開ベンチマークで既存の手法と比較し,mouvが先行技術よりも常に優れており,同時に不確実性の推定精度も向上していることを示した。 私たちのコードはリンクアップ公開で利用可能です。

関連論文リスト

• Beyond the Norms: Detecting Prediction Errors in Regression Models [26.178065248948773]
  本稿では,回帰アルゴリズムにおける信頼できない振る舞いを検出するという課題に取り組む。 回帰器の出力が特定の不一致(または誤り)を超えた場合、回帰における不確実性の概念を導入する。 複数の回帰タスクに対する誤り検出の実証的改善を示す。
  論文  参考訳（メタデータ） (2024-06-11T05:51:44Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Imbalance in Regression Datasets [0.9374652839580183]
  我々は、レグレッションの不均衡が、これまで見過ごされてきた同様に重要な問題であると主張している。 データセットのターゲット分布の過大な表現と過大な表現のため、回帰器は単純なモデルに縮退する傾向にある。
  論文  参考訳（メタデータ） (2024-02-19T09:06:26Z)
• Variational Imbalanced Regression: Fair Uncertainty Quantification via Probabilistic Smoothing [13.339286071690394]
  既存の回帰モデルは、ラベル分布が不均衡である場合、精度と不確実性の推定の両方において不足する傾向にある。 変分不均衡回帰(VIR)と呼ばれる確率的深層学習モデルを提案する。 VIRは不均衡回帰において良好に機能するが、自然に副産物として妥当な不確かさを推定する。
  論文  参考訳（メタデータ） (2023-06-11T06:27:06Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data [8.115323786541078]
  モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。 回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
  論文  参考訳（メタデータ） (2021-09-14T10:22:21Z)
• Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data [10.659348599372944]
  本稿では,モデル学習のための理論的および計算的枠組みと,有病率バイアスの存在下での予測について述べる。 原則的なトレーニング損失の代替として,要約曲線から操作点を選択することで,テスト時の手順を補完するものだ。 バックプロパゲーションを用いた(深い)学習の現在のパラダイムにシームレスに統合され、ベイズモデルと自然に結合する。
  論文  参考訳（メタデータ） (2021-07-31T14:36:33Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。