論文の概要: Evaluating High-Order Predictive Distributions in Deep Learning
- arxiv url: http://arxiv.org/abs/2202.13509v1
- Date: Mon, 28 Feb 2022 02:10:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 13:31:56.037036
- Title: Evaluating High-Order Predictive Distributions in Deep Learning
- Title（参考訳）: ディープラーニングにおける高次予測分布の評価
- Authors: Ian Osband, Zheng Wen, Seyed Mohammad Asghari, Vikranth Dwaracherla,
Xiuyuan Lu, Benjamin Van Roy
- Abstract要約: 共同予測分布は意思決定における優れた性能に不可欠である。
本稿では,入力のランダムなテキストペアに関連する予測分布に着目したテクスタイディックサンプリングを提案する。
本手法は, 単純なロジスティック回帰を含む高次元のエージェントと, 複雑な合成データと経験データとを効率よく区別できることを実証する。
- 参考スコア（独自算出の注目度）: 27.076321280462057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most work on supervised learning research has focused on marginal
predictions. In decision problems, joint predictive distributions are essential
for good performance. Previous work has developed methods for assessing
low-order predictive distributions with inputs sampled i.i.d. from the testing
distribution. With low-dimensional inputs, these methods distinguish agents
that effectively estimate uncertainty from those that do not. We establish that
the predictive distribution order required for such differentiation increases
greatly with input dimension, rendering these methods impractical. To
accommodate high-dimensional inputs, we introduce \textit{dyadic sampling},
which focuses on predictive distributions associated with random \textit{pairs}
of inputs. We demonstrate that this approach efficiently distinguishes agents
in high-dimensional examples involving simple logistic regression as well as
complex synthetic and empirical data.
- Abstract（参考訳）: 教師付き学習研究のほとんどが限界予測に注目している。
意思決定問題では、共同予測分布は優れた性能に不可欠である。
先行研究ではテスト分布からサンプルした入力を用いて低次予測分布を評価する手法を開発した。
低次元入力では、これらの手法は不確実性を効果的に推定するエージェントと、そうでないエージェントとを区別する。
このような微分に必要な予測分布順序は入力次元によって大きく増大し、これらの手法は非現実的になる。
高次元の入力に対応するために、入力のランダムな \textit{pairs} に関連する予測分布に焦点を当てた \textit{dyadic sampling} を導入する。
本手法は, 単純なロジスティック回帰を含む高次元のエージェントと, 複雑な合成データと経験データとを効率的に区別する。
関連論文リスト
- Discussion: Effective and Interpretable Outcome Prediction by Training Sparse Mixtures of Linear Experts [4.178382980763478]
我々は,ゲートと専門家のサブネットの両方がロジスティック回帰器である,スパースミクチャー・オブ・エキスパートを訓練することを提案する。
このアンサンブルのようなモデルは、各サブネット内の入力機能のサブセットを自動的に選択しながら、エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2024-07-18T13:59:10Z) - Simple and effective data augmentation for compositional generalization [64.00420578048855]
MRをサンプリングし,それらを逆翻訳するデータ拡張法は,合成一般化に有効であることを示す。
注目すべきは、一様分布からのサンプリングは、テスト分布からのサンプリングとほぼ同等に実行されることである。
論文 参考訳（メタデータ） (2024-01-18T09:13:59Z) - Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。
複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。
提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文 参考訳（メタデータ） (2023-10-10T14:06:56Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。
提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
論文 参考訳（メタデータ） (2023-06-14T08:00:49Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Evaluating Predictive Distributions: Does Bayesian Deep Learning Work? [45.290773422944866]
後続の予測分布は、点推定によって無視される不確実性を定量化する。
本稿では,このような予測を生成するエージェントの系統的評価を行うためのツールである,The Neural Testbedを紹介する。
論文 参考訳（メタデータ） (2021-10-09T18:54:02Z) - Meta-Learning Conjugate Priors for Few-Shot Bayesian Optimization [0.0]
メタラーニングを用いて情報共役の事前分布の推定を自動化する新しい手法を提案する。
このプロセスから、元のデータ分布の形状パラメータを推定するために、わずかなデータしか必要としない先行データを生成する。
論文 参考訳（メタデータ） (2021-01-03T23:58:32Z) - Balance-Subsampled Stable Prediction [55.13512328954456]
本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。
設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。
合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2020-06-08T07:01:38Z) - Mind the Trade-off: Debiasing NLU Models without Degrading the
In-distribution Performance [70.31427277842239]
信頼性正則化という新しいデバイアス化手法を導入する。
モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。
提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-05-01T11:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。