論文の概要: Mixture of Experts with Uncertainty Voting for Imbalanced Deep Regression Problems

• arxiv url: http://arxiv.org/abs/2305.15178v1
• Date: Wed, 24 May 2023 14:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 15:30:25.473469
• Title: Mixture of Experts with Uncertainty Voting for Imbalanced Deep Regression Problems
• Title（参考訳）: 不整合深部回帰問題に対する不確かさ投票専門家の混在
• Authors: Yuchang Jiang, Vivien Sainte Fare Garnot, Konrad Schindler, Jan Dirk Wegner
• Abstract要約: 我々は、レグレッション・セッティングにMix-of-expertアプローチを適用する。 このアプローチを使用する際の大きな疑問は、複数の専門家からの予測をひとつのアウトプットに融合させる方法だ。 提案手法はMOUVと呼ばれ,各専門家が出力値だけでなく,その不確実性も予測する。
• 参考スコア（独自算出の注目度）: 23.521155567039635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data imbalance is ubiquitous when applying machine learning to real-world problems, particularly regression problems. If training data are imbalanced, the learning is dominated by the densely covered regions of the target distribution, consequently, the learned regressor tends to exhibit poor performance in sparsely covered regions. Beyond standard measures like over-sampling or re-weighting, there are two main directions to handle learning from imbalanced data. For regression, recent work relies on the continuity of the distribution; whereas for classification there has been a trend to employ mixture-of-expert models and let some ensemble members specialize in predictions for the sparser regions. Here, we adapt the mixture-of-experts approach to the regression setting. A main question when using this approach is how to fuse the predictions from multiple experts into one output. Drawing inspiration from recent work on probabilistic deep learning, we propose to base the fusion on the aleatoric uncertainties of individual experts, thus obviating the need for a separate aggregation module. In our method, dubbed MOUV, each expert predicts not only an output value but also its uncertainty, which in turn serves as a statistically motivated criterion to rely on the right experts. We compare our method with existing alternatives on multiple public benchmarks and show that MOUV consistently outperforms the prior art, while at the same time producing better calibrated uncertainty estimates. Our code is available at link-upon-publication.
• Abstract（参考訳）: 現実の問題、特に回帰問題に機械学習を適用する場合、データの不均衡は普遍的である。 トレーニングデータが不均衡であれば、学習はターゲット分布の密集した領域に支配され、その結果、学習された回帰器は疎有な領域で性能が低下する傾向にある。 オーバーサンプリングや再重み付けといった標準的な手段以外にも、不均衡なデータから学ぶための2つの主な方向があります。 回帰については、最近の研究は分布の連続性に依存しているが、分類では、混合・オブ・エキスパートモデルを採用し、いくつかのアンサンブルのメンバーがスパーサー領域の予測を専門とする傾向があった。 ここでは、専門家の混合アプローチを回帰設定に適応する。 このアプローチを使用する際の大きな疑問は、複数の専門家による予測をひとつのアウトプットにする方法だ。 確率的深層学習に関する最近の研究からインスピレーションを得て,個々の専門家の照会的不確実性に基づく融合を提案し,個別の集約モジュールの必要性を回避した。 提案手法はMOUVと呼ばれ,各専門家が出力値だけでなく,その不確実性も予測する。 提案手法は,複数の公開ベンチマークで既存の手法と比較し,mouvが先行技術よりも常に優れており,同時に不確実性の推定精度も向上していることを示した。 私たちのコードはリンクアップ公開で利用可能です。

関連論文リスト

• Beyond the Norms: Detecting Prediction Errors in Regression Models [26.178065248948773]
  本稿では,回帰アルゴリズムにおける信頼できない振る舞いを検出するという課題に取り組む。 回帰器の出力が特定の不一致(または誤り)を超えた場合、回帰における不確実性の概念を導入する。 複数の回帰タスクに対する誤り検出の実証的改善を示す。
  論文  参考訳（メタデータ） (2024-06-11T05:51:44Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Variational Deep Survival Machines: Survival Regression with Censored Outcomes [11.82370259688716]
  サバイバル・レグレッション(Survival regression)とは、ある出来事がいつ起こるか、通常は死か失敗かを予測することを目的としている。 本稿では,生存データをクラスタリングし,原始分布を組み合わせることで生存時間を予測できる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-24T02:16:00Z)
• Generalized Regression with Conditional GANs [2.4171019220503402]
  本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。 回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-21T01:27:47Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
  我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。 エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。 一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
  論文  参考訳（メタデータ） (2023-07-03T08:19:00Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布保証が消えることを示し,推定分布が急速に崩壊して平均推定値が崩壊することを実証的に観察する。 提案手法は,$L$の学習効率を生かして,返却分布の予測値と量子化値とを協調的に学習し,返却分布の完全な分布を推定し,効率的な学習を可能にするものである。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)
• Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data [8.115323786541078]
  モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。 回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
  論文  参考訳（メタデータ） (2021-09-14T10:22:21Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。