論文の概要: Training of Neural Networks with Uncertain Data, A Mixture of Experts Approach

• arxiv url: http://arxiv.org/abs/2312.08083v1
• Date: Wed, 13 Dec 2023 11:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:35:23.111115
• Title: Training of Neural Networks with Uncertain Data, A Mixture of Experts Approach
• Title（参考訳）: 不確実データを用いたニューラルネットワークの学習 : 専門家の混合アプローチ
• Authors: Lucas Luttner
• Abstract要約: ニューラルネットワーク(NN)に基づく予測モデルのトレーニングにおけるアレータティック不確実性に対処する「エキスパートの不確実性認識混合」 (uMoE) の設計
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the "Uncertainty-aware Mixture of Experts" (uMoE), a novel approach designed to address aleatoric uncertainty in the training of predictive models based on Neural Networks (NNs). While existing methods primarily focus on managing uncertainty during infer-ence, uMoE integrates uncertainty directly into the train-ing process. The uMoE approach adopts a "Divide and Conquer" paradigm to partition the uncertain input space into more manageable subspaces. It consists of Expert components, each trained solely on the portion of input uncertainty corresponding to their subspace. On top of the Experts, a Gating Unit, guided by additional infor-mation about the distribution of uncertain inputs across these subspaces, learns to weight the Experts to minimize deviations from the ground truth. Our results highlight that uMoE significantly outperforms baseline methods in handling data uncertainty. Furthermore, we conducted a robustness analysis, illustrating its capability to adapt to varying levels of uncertainty and suggesting optimal threshold parameters. This innovative approach holds wide applicability across diverse data-driven domains, in-cluding biomedical signal processing, autonomous driv-ing, and production quality control.
• Abstract（参考訳）: 本稿では,ニューラルネット(nns)に基づく予測モデルの学習における学習不確実性に対処するための新しいアプローチである,uncertainty-aware mixed of experts(umoe)を提案する。 既存の手法は主に不確実性の管理に焦点を当てているが、umoeは不確実性を直接列車の運行プロセスに統合する。 uMoEアプローチでは、不確実な入力空間をより管理可能な部分空間に分割する"Divide and Conquer"パラダイムを採用している。 専門的なコンポーネントで構成され、それぞれがサブスペースに対応する入力の不確実性の部分のみに基づいてトレーニングされる。 専門家に加えて、これらの部分空間にまたがる不確定な入力の分布に関する追加の計算によって導かれるゲーティングユニットは、専門家を重み付けて基底真理からの逸脱を最小限に抑えることを学ぶ。 以上の結果から,uMoEはデータ不確実性を扱う上で,ベースライン法を著しく上回ることがわかった。 さらに,不確実性の異なるレベルに適応する能力を示し,最適なしきい値パラメータを提案するロバスト性解析を行った。 この革新的なアプローチは、バイオメディカル信号処理、自律的なドライビング、生産品質管理を含む、多様なデータ駆動ドメインに適用性を持っている。

関連論文リスト

• Uncertainty Calibration with Energy Based Instance-wise Scaling in the Wild Dataset [23.155946032377052]
  エネルギーモデルに基づく新しいインスタンスワイドキャリブレーション手法を提案する。 本手法は,ソフトマックス信頼性スコアの代わりにエネルギースコアを組み込むことにより,不確実性を考慮した適応的な検討を可能にする。 実験では,提案手法はスペクトル間のロバストな性能を一貫して維持することを示した。
  論文  参考訳（メタデータ） (2024-07-17T06:14:55Z)
• Explainability through uncertainty: Trustworthy decision-making with neural networks [1.104960878651584]
  不確実性は、あらゆる機械学習モデルの主要な特徴である。 ニューラルネットワークでは特に重要であり、過信されがちである。 XAIとしての不確実性は、下流の意思決定タスクにおけるモデルの信頼性を改善する。
  論文  参考訳（メタデータ） (2024-03-15T10:22:48Z)
• Self-Improving Interference Management Based on Deep Learning With Uncertainty Quantification [10.403513606082067]
  本稿では,無線通信に適した自己改善型干渉管理フレームワークを提案する。 提案手法は,従来の最適化アルゴリズムに固有の計算課題に対処する。 私たちのフレームワークのブレークスルーは、データ駆動モデルに固有の制限を認識することです。
  論文  参考訳（メタデータ） (2024-01-24T03:28:48Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Modeling Multimodal Aleatoric Uncertainty in Segmentation with Mixture of Stochastic Expert [24.216869988183092]
  入力画像にあいまいさが存在する場合、セグメンテーションにおけるデータ独立不確実性(いわゆるアレタリック不確実性)を捉えることに重点を置いている。 本稿では,各専門家ネットワークがアレータティック不確実性の異なるモードを推定する,新しい専門家モデル(MoSE)を提案する。 We developed a Wasserstein-like loss that makes direct minimizes the distribution distance between the MoSE and ground truth annotations。
  論文  参考訳（メタデータ） (2022-12-14T16:48:21Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。