論文の概要: The Neural Process Family: Survey, Applications and Perspectives
- arxiv url: http://arxiv.org/abs/2209.00517v3
- Date: Mon, 2 Oct 2023 23:43:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 22:39:56.706770
- Title: The Neural Process Family: Survey, Applications and Perspectives
- Title（参考訳）: 神経プロセスファミリー:調査,応用,展望
- Authors: Saurav Jha, Dong Gong, Xuesong Wang, Richard E. Turner, Lina Yao
- Abstract要約: ニューラルプロセスファミリー(NPF)は、メタ学習予測の不確実性にニューラルネットワークを活用することによって、両方の世界の長所を提供する。
私たちは、他の深層学習分野のいくつかの最近の進歩を、ひとつの傘の下で実現する可能性に光を当てました。
- 参考スコア（独自算出の注目度）: 40.800706337651526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The standard approaches to neural network implementation yield powerful
function approximation capabilities but are limited in their abilities to learn
meta representations and reason probabilistic uncertainties in their
predictions. Gaussian processes, on the other hand, adopt the Bayesian learning
scheme to estimate such uncertainties but are constrained by their efficiency
and approximation capacity. The Neural Processes Family (NPF) intends to offer
the best of both worlds by leveraging neural networks for meta-learning
predictive uncertainties. Such potential has brought substantial research
activity to the family in recent years. Therefore, a comprehensive survey of
NPF models is needed to organize and relate their motivation, methodology, and
experiments. This paper intends to address this gap while digging deeper into
the formulation, research themes, and applications concerning the family
members. We shed light on their potential to bring several recent advances in
other deep learning domains under one umbrella. We then provide a rigorous
taxonomy of the family and empirically demonstrate their capabilities for
modeling data generating functions operating on 1-d, 2-d, and 3-d input
domains. We conclude by discussing our perspectives on the promising directions
that can fuel the research advances in the field. Code for our experiments will
be made available at https://github.com/srvCodes/neural-processes-survey.
- Abstract（参考訳）: ニューラルネットワークの実装に対する標準的なアプローチは、強力な関数近似能力をもたらすが、メタ表現を学ぶ能力や予測における確率的不確実性は限られている。
一方ガウス過程は、そのような不確実性を推定するためにベイズ学習スキームを採用するが、効率と近似能力に制約される。
ニューラルプロセスファミリー(NPF)は、メタ学習予測の不確実性にニューラルネットワークを活用することによって、両方の世界の長所を提供する。
このような可能性から近年は家族にかなりの研究活動がもたらされている。
そのため,npfモデルの総合的な調査を行い,その動機,方法論,実験を整理し,関連付ける必要がある。
本論文は,家族に関する定式化,研究テーマ,応用について深く掘り下げながら,このギャップに対処しようとするものである。
私たちは、他の深層学習分野のいくつかの最近の進歩を一つの傘の下に持ってくる可能性に光を当てました。
次に,家族の厳密な分類を提供し,1-d,2-d,3-d入力領域で動作するデータ生成関数をモデル化する能力実証を行った。
我々は、この分野の研究の進歩を加速させる有望な方向性について、我々の視点を議論することで結論づける。
実験用のコードはhttps://github.com/srvCodes/neural-processes-survey.comで公開されます。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Deep Learning and genetic algorithms for cosmological Bayesian inference speed-up [0.0]
本稿では,ネストサンプリングアルゴリズムに特化してベイズ推論を高速化する新しい手法を提案する。
提案手法は,ベイズ推論過程における確率関数を動的に近似するために,フィードフォワードニューラルネットワークを用いてディープラーニングのパワーを利用する。
この実装はネストサンプリングアルゴリズムと統合され、単純な宇宙学のダークエネルギーモデルと多様な観測データセットの両方を用いて徹底的に評価されている。
論文 参考訳（メタデータ） (2024-05-06T09:14:58Z) - Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。
補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。
次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文 参考訳（メタデータ） (2023-09-06T14:02:33Z) - Uncertainty in Natural Language Processing: Sources, Quantification, and
Applications [56.130945359053776]
NLP分野における不確実性関連作業の総合的なレビューを行う。
まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。
我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
論文 参考訳（メタデータ） (2023-06-05T06:46:53Z) - Reliable extrapolation of deep neural operators informed by physics or
sparse observations [2.887258133992338]
ディープニューラルネットワークは、ディープニューラルネットワークを介して無限次元関数空間間の非線形マッピングを学習することができる。
DeepONetsは科学と工学の新しいシミュレーションパラダイムを提供する。
本稿では,外挿下での安全な予測を保証する5つの信頼性学習手法を提案する。
論文 参考訳（メタデータ） (2022-12-13T03:02:46Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳（メタデータ） (2022-10-24T15:14:26Z) - Rethinking Bayesian Learning for Data Analysis: The Art of Prior and
Inference in Sparsity-Aware Modeling [20.296566563098057]
信号処理と機械学習のためのスパースモデリングは、20年以上にわたって科学研究の焦点となっている。
本稿では,3つの一般的なデータモデリングツールにスパーシティ・プロモーティング・プリエントを組み込むことの最近の進歩を概観する。
論文 参考訳（メタデータ） (2022-05-28T00:43:52Z) - Approximating Attributed Incentive Salience In Large Scale Scenarios. A
Representation Learning Approach Based on Artificial Neural Networks [5.065947993017158]
インセンティブ・サリエンス属性による潜在状態を近似するための,人工知能ニューラルネットワーク(ANN)に基づく手法を提案する。
我々は,大規模時系列データセットを用いて,個人と一連のビデオゲームの相互作用の持続時間と強度を推定するANNを設計した。
論文 参考訳（メタデータ） (2021-08-03T20:03:21Z) - Fusing the Old with the New: Learning Relative Camera Pose with
Geometry-Guided Uncertainty [91.0564497403256]
本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。
本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。
学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
論文 参考訳（メタデータ） (2021-04-16T17:59:06Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。