論文の概要: Transformers Can Do Bayesian Inference
- arxiv url: http://arxiv.org/abs/2112.10510v1
- Date: Mon, 20 Dec 2021 13:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-21 15:47:22.350503
- Title: Transformers Can Do Bayesian Inference
- Title（参考訳）: トランスフォーマーはベイズ推論ができる
- Authors: Samuel M\"uller, Noah Hollmann, Sebastian Pineda Arango, Josif
Grabocka and Frank Hutter
- Abstract要約: 我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模な機械学習技術を利用して、大規模な後部集合を近似する。
我々はPFNがガウス過程をほぼ完璧に模倣できることを示した。
- 参考スコア（独自算出の注目度）: 28.936428431504165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Currently, it is hard to reap the benefits of deep learning for Bayesian
methods, which allow the explicit specification of prior knowledge and
accurately capture model uncertainty. We present Prior-Data Fitted Networks
(PFNs). PFNs leverage large-scale machine learning techniques to approximate a
large set of posteriors. The only requirement for PFNs to work is the ability
to sample from a prior distribution over supervised learning tasks (or
functions). Our method restates the objective of posterior approximation as a
supervised classification problem with a set-valued input: it repeatedly draws
a task (or function) from the prior, draws a set of data points and their
labels from it, masks one of the labels and learns to make probabilistic
predictions for it based on the set-valued input of the rest of the data
points. Presented with a set of samples from a new supervised learning task as
input, PFNs make probabilistic predictions for arbitrary other data points in a
single forward propagation, having learned to approximate Bayesian inference.
We demonstrate that PFNs can near-perfectly mimic Gaussian processes and also
enable efficient Bayesian inference for intractable problems, with over
200-fold speedups in multiple setups compared to current methods. We obtain
strong results in very diverse areas such as Gaussian process regression,
Bayesian neural networks, classification for small tabular data sets, and
few-shot image classification, demonstrating the generality of PFNs. Code and
trained PFNs are released at
https://github.com/automl/TransformersCanDoBayesianInference.
- Abstract（参考訳）: 現在、事前知識の明示的な指定を可能にし、モデルの不確かさを正確に捉えるベイズ法に対するディープラーニングの利点を享受することは困難である。
我々はPFN(Presideed Data Fitted Networks)を提案する。
pfnsは大規模な機械学習技術を活用して、大きな後方集合を近似している。
PFNが機能する唯一の要件は、教師付き学習タスク(または関数)よりも前の分布からサンプリングできることである。
本手法は,前者からタスク(あるいは関数)を繰り返し描画し,それからデータポイントとそのラベルのセットを描画し,ラベルの1つをマスクし,残りのデータポイントのセット値入力に基づいて確率的予測を行う。
新しい教師付き学習タスクのサンプルを入力として提示し、PFNはベイズ推定を近似することを学び、単一の前方伝播において任意の他のデータポイントに対する確率的予測を行う。
pfnsはガウス過程をほぼ完璧に模倣でき、また現在の手法と比較して200倍以上の速度アップを持つ難解な問題に対して効率的なベイズ推論を可能にする。
我々は、ガウス過程回帰、ベイズニューラルネットワーク、小さな表型データセットの分類、およびpfnsの一般性を示す数少ない画像分類など、非常に多様な領域において強い結果を得る。
コードとトレーニングされたPFNはhttps://github.com/automl/TransformersCanDoBayesianInferenceでリリースされる。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。
I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
論文 参考訳（メタデータ） (2023-08-31T05:05:53Z) - Learning Representations on the Unit Sphere: Investigating Angular
Gaussian and von Mises-Fisher Distributions for Online Continual Learning [7.145581090959242]
本稿では,新たな損失関数を備えたメモリベース表現学習手法を提案する。
提案手法は,タスク境界がぼやけた標準的な評価シナリオと現実的なシナリオの両方において,現状の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-06T02:38:01Z) - Statistical Foundations of Prior-Data Fitted Networks [0.7614628596146599]
近年,機械学習の新しいパラダイムとしてPFNが提案されている。
本稿では,PFNの理論的基盤を確立し,その挙動を制御している統計的メカニズムを照らす。
論文 参考訳（メタデータ） (2023-05-18T16:34:21Z) - Informative regularization for a multi-layer perceptron RR Lyrae
classifier under data shift [3.303002683812084]
本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。
提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
論文 参考訳（メタデータ） (2023-03-12T02:49:19Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳（メタデータ） (2020-10-14T18:41:54Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳（メタデータ） (2020-04-29T10:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。