Fugu-MT 論文翻訳(概要): GFlowOut: Dropout with Generative Flow Networks

論文の概要: GFlowOut: Dropout with Generative Flow Networks

arxiv url: http://arxiv.org/abs/2210.12928v1
Date: Mon, 24 Oct 2022 03:00:01 GMT
ステータス: 処理完了
システム内更新日: 2022-10-25 14:20:38.165210
Title: GFlowOut: Dropout with Generative Flow Networks
Title（参考訳）: GFlowOut: 生成フローネットワークによるドロップアウト
Authors: Dianbo Liu, Moksh Jain, Bonaventure Dossou, Qianli Shen, Salem Lahlou, Anirudh Goyal, Nikolay Malkin, Chris Emezue, Dinghuai Zhang, Nadhir Hassen, Xu Ji, Kenji Kawaguchi, Yoshua Bengio
Abstract要約: モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
参考スコア（独自算出の注目度）: 76.59535235717631
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Bayesian Inference offers principled tools to tackle many critical problems with modern neural networks such as poor calibration and generalization, and data inefficiency. However, scaling Bayesian inference to large architectures is challenging and requires restrictive approximations. Monte Carlo Dropout has been widely used as a relatively cheap way for approximate Inference and to estimate uncertainty with deep neural networks. Traditionally, the dropout mask is sampled independently from a fixed distribution. Recent works show that the dropout mask can be viewed as a latent variable, which can be inferred with variational inference. These methods face two important challenges: (a) the posterior distribution over masks can be highly multi-modal which can be difficult to approximate with standard variational inference and (b) it is not trivial to fully utilize sample-dependent information and correlation among dropout masks to improve posterior estimation. In this work, we propose GFlowOut to address these issues. GFlowOut leverages the recently proposed probabilistic framework of Generative Flow Networks (GFlowNets) to learn the posterior distribution over dropout masks. We empirically demonstrate that GFlowOut results in predictive distributions that generalize better to out-of-distribution data, and provide uncertainty estimates which lead to better performance in downstream tasks.
Abstract（参考訳）: ベイズ推論は、キャリブレーションの貧弱さや一般化、データ非効率など、現代のニューラルネットワークにおける多くの重要な問題に対処するための原則付きツールを提供する。しかし、大規模アーキテクチャへのベイズ推論のスケーリングは困難であり、制限付き近似を必要とする。モンテカルロドロップアウトは、近似推論やディープニューラルネットワークによる不確実性の推定に比較的安価な方法として広く使われている。伝統的に、ドロップアウトマスクは固定分布から独立してサンプリングされる。最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。これらの手法は2つの重要な課題に直面している。 (a)マスク上の後方分布は高度にマルチモーダルであり、標準変分推論では近似が困難である。 b) サンプル依存情報とドロップアウトマスク間の相関を十分に活用して後方推定を改善することは容易ではない。本稿では,これらの問題に対処するためにGFlowOutを提案する。 GFlowOutは、最近提案されたGenerative Flow Networks(GFlowNets)の確率的フレームワークを活用して、ドロップアウトマスク上の後部分布を学習する。我々は,gflowout が予測分布をもたらすことを実証し,分散外データへの一般化と下流タスクの性能向上につながる不確実性推定を提供する。

関連論文リスト

Flexible Heteroscedastic Count Regression with Deep Double Poisson Networks [4.58556584533865]
本稿ではDDPN(Deep Double Poisson Network)を提案する。 DDPNは既存の離散モデルを大幅に上回っている。これは様々なカウント回帰データセットに適用できる。
論文参考訳（メタデータ） (2024-06-13T16:02:03Z)
Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。私たちの貢献は、より原則化された分散伝播フレームワークです。
論文参考訳（メタデータ） (2023-11-21T22:53:20Z)
Local Search GFlowNets [85.0053493167887]
Generative Flow Networks (GFlowNets) は、報酬に比例した離散オブジェクト上の分布を学習するアモータイズされたサンプリング手法である。 GFlowNetsは、多様なサンプルを生成する素晴らしい能力を示していますが、広いサンプル空間での過剰な探索のために、常に高い報酬を持つサンプルを生成するのに苦労することがあります。本稿では,局所探索によるGFlowNetsの学習を提案する。
論文参考訳（メタデータ） (2023-10-04T10:27:17Z)
Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
不確実性定量化は機械学習において重要な課題である。本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文参考訳（メタデータ） (2023-02-21T20:23:56Z)
Variational Inference on the Final-Layer Output of Neural Networks [3.146069168382982]
本稿では、最終層出力空間(VIFO)における変分推論を行うことにより、両方のアプローチの利点を組み合わせることを提案する。ニューラルネットワークを用いて確率出力の平均と分散を学習する。実験により、VIFOは、特に分布データ外において、実行時間と不確実性定量化の観点から良いトレードオフを提供することが示された。
論文参考訳（メタデータ） (2023-02-05T16:19:01Z)
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
論文参考訳（メタデータ） (2022-05-31T13:32:55Z)
Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文参考訳（メタデータ） (2021-12-20T13:07:39Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文参考訳（メタデータ） (2021-02-22T07:02:37Z)
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。