論文の概要: Multiple Hypothesis Dropout: Estimating the Parameters of Multi-Modal Output Distributions

• arxiv url: http://arxiv.org/abs/2312.11735v1
• Date: Mon, 18 Dec 2023 22:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 17:32:24.977257
• Title: Multiple Hypothesis Dropout: Estimating the Parameters of Multi-Modal Output Distributions
• Title（参考訳）: 多重仮説ドロップアウト:マルチモーダル出力分布のパラメータ推定
• Authors: David D. Nguyen, David Liebowitz, Surya Nepal, Salil S. Kanhere
• Abstract要約: 本稿では,複数出力関数(Multiple-Output function, MoM)の解法について, 新たな解法であるMultiple hypothesis Dropoutを用いて提案する。 教師付き学習問題に対する実験は、我々の手法がマルチモーダルな出力分布を再構築するための既存のソリューションよりも優れていることを示している。 教師なし学習問題に関するさらなる研究は、離散オートエンコーダ内の潜在後続分布のパラメータを推定することで、コードブックの効率、サンプル品質、精度、リコールを大幅に改善することを示している。
• 参考スコア（独自算出の注目度）: 22.431244647796582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many real-world applications, from robotics to pedestrian trajectory prediction, there is a need to predict multiple real-valued outputs to represent several potential scenarios. Current deep learning techniques to address multiple-output problems are based on two main methodologies: (1) mixture density networks, which suffer from poor stability at high dimensions, or (2) multiple choice learning (MCL), an approach that uses $M$ single-output functions, each only producing a point estimate hypothesis. This paper presents a Mixture of Multiple-Output functions (MoM) approach using a novel variant of dropout, Multiple Hypothesis Dropout. Unlike traditional MCL-based approaches, each multiple-output function not only estimates the mean but also the variance for its hypothesis. This is achieved through a novel stochastic winner-take-all loss which allows each multiple-output function to estimate variance through the spread of its subnetwork predictions. Experiments on supervised learning problems illustrate that our approach outperforms existing solutions for reconstructing multimodal output distributions. Additional studies on unsupervised learning problems show that estimating the parameters of latent posterior distributions within a discrete autoencoder significantly improves codebook efficiency, sample quality, precision and recall.
• Abstract（参考訳）: ロボット工学から歩行者追跡予測まで、多くの現実世界のアプリケーションでは、いくつかの潜在的なシナリオを表現するために複数の実数値出力を予測する必要がある。 1)高次元での安定性の低い混合密度ネットワーク、または(2)MCL(Multiple choice learning)は、M$単出力関数を用いるアプローチであり、それぞれが点推定仮説を生成するのみである。 本稿では,複数出力関数(Multiple-Output function, MoM)の解法について, 新たな解法であるMultiple hypothesis Dropoutを用いて提案する。 従来のmclベースのアプローチとは異なり、各多重出力関数は平均だけでなく、その仮説の分散も推定する。 これは、各多重出力関数がサブネットワーク予測の拡散を通じて分散を推定できる、新しい確率的ウィナーテイク・オールロスによって達成される。 教師あり学習問題に関する実験は,マルチモーダル出力分布を再構成する既存の解よりも優れた手法であることを示す。 教師なし学習問題に関するさらなる研究は、離散オートエンコーダ内の潜在後続分布のパラメータを推定することで、コードブックの効率、サンプル品質、精度、リコールを大幅に改善することを示している。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• A deep neural network framework for dynamic multi-valued mapping estimation and its applications [3.21704928672212]
  本稿では、生成ネットワークと分類コンポーネントを組み込んだディープニューラルネットワークフレームワークを提案する。 本研究の目的は、信頼性の高い不確実性測定を提供することにより、入力と出力の間の動的多値写像をモデル化することである。 実験結果から,不確実性を考慮した動的多値写像を精度良く推定できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-29T03:26:51Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Perceiver-based CDF Modeling for Time Series Forecasting [25.26713741799865]
  本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。 提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。 単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
  論文  参考訳（メタデータ） (2023-10-03T01:13:17Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
  本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。 共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
  論文  参考訳（メタデータ） (2022-12-19T23:50:19Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Multi-target regression via output space quantization [0.3007949058551534]
  MRQと呼ばれる提案手法は、複数の連続目標を1つ以上の離散目標に変換するために出力空間を定量化するアイデアに基づいている。 ベンチマークデータセットの大規模なコレクションの実験は、MRQが高度にスケーラブルであり、精度の面で最先端と競合していることを示している。
  論文  参考訳（メタデータ） (2020-03-22T13:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。