論文の概要: Neural Diffusion Processes

• arxiv url: http://arxiv.org/abs/2206.03992v2
• Date: Tue, 6 Jun 2023 21:13:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 20:21:55.004779
• Title: Neural Diffusion Processes
• Title（参考訳）: 神経拡散過程
• Authors: Vincent Dutordoir, Alan Saul, Zoubin Ghahramani, Fergus Simpson
• Abstract要約: そこで我々は, 関数上の豊富な分布から, 有限限界を通してサンプルを学習するニューラル拡散過程 (NDP) を提案する。 我々はNDPが真のベイズ後部に近い機能的分布を捉えることを実証的に示す。 NDPは、回帰、暗黙のハイパーマージン化、非ガウスの後方予測、グローバル最適化など、様々な下流タスクを可能にする。
• 参考スコア（独自算出の注目度）: 12.744250155946503
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural network approaches for meta-learning distributions over functions have desirable properties such as increased flexibility and a reduced complexity of inference. Building on the successes of denoising diffusion models for generative modelling, we propose Neural Diffusion Processes (NDPs), a novel approach that learns to sample from a rich distribution over functions through its finite marginals. By introducing a custom attention block we are able to incorporate properties of stochastic processes, such as exchangeability, directly into the NDP's architecture. We empirically show that NDPs can capture functional distributions close to the true Bayesian posterior, demonstrating that they can successfully emulate the behaviour of Gaussian processes and surpass the performance of neural processes. NDPs enable a variety of downstream tasks, including regression, implicit hyperparameter marginalisation, non-Gaussian posterior prediction and global optimisation.
• Abstract（参考訳）: 関数上のメタ学習分布に対するニューラルネットワークアプローチは、柔軟性の向上や推論の複雑さの低減など、望ましい特性を持っている。 生成的モデリングのための分母拡散モデルの成功に基づいて、関数上の豊富な分布から有限辺数を通してサンプルを学習する新しいアプローチである神経拡散過程(neural diffusion process, ndps)を提案する。 カスタムアテンションブロックを導入することで、交換可能性などの確率的プロセスの特性を直接NDPのアーキテクチャに組み込むことができます。 実験により,ndpは真のベイズ後方の関数分布を捉えることができ,ガウス過程の挙動をエミュレートし,神経過程の性能を上回ることができることを示した。 ndpは、回帰、暗黙のハイパーパラメーター境界化、非ゲージの後方予測、グローバル最適化を含む様々な下流タスクを可能にする。

関連論文リスト

• Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems [49.2319247825857]
  拡散に基づく生成モデルは、ニューラル演算子に好適な多くの特性を示す。 本稿では,複数のタスクに適応可能な単一モデルを,トレーニング中のタスク間で交互に学習することを提案する。
  論文  参考訳（メタデータ） (2024-05-11T21:23:55Z)
• Spectral Convolutional Conditional Neural Processes [4.52069311861025]
  条件付きニューラルプロセス(CNP)は、プロセスのパラメータ化にニューラルネットワークの柔軟性を利用する確率モデルの一群である。 本稿では、周波数領域における関数のより効率的な表現を可能にするNPsファミリーに新たに追加されたスペクトル畳み込み条件ニューラルネットワーク(SConvCNPs)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T21:13:18Z)
• Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
  より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。 また,前処理を学習するための新しいパラメータ化手法を提案する。 結果はNFDMの汎用性と幅広い応用の可能性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T15:10:54Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Variational Gaussian Process Diffusion Processes [17.716059928867345]
  拡散過程(英: Diffusion process)は、微分方程式(SDE)のクラスであり、表現的モデルの豊富な族を提供する。 非線型拡散過程が先行する潜在過程を持つ生成モデルの下での確率的推論と学習は難解な問題である。 本研究では, 線形拡散過程として後続過程を近似し, アプローチの病理を指摘する。
  論文  参考訳（メタデータ） (2023-06-03T09:43:59Z)
• Adaptive Conditional Quantile Neural Processes [9.066817971329899]
  条件量子ニューラルプロセス(CQNP)は、ニューラルプロセスファミリーの新たなメンバーである。 本稿では,情報量推定に焦点をあてることから学習する量子レグレッションの拡張を提案する。 実データと合成データセットによる実験は、予測性能を大幅に改善した。
  論文  参考訳（メタデータ） (2023-05-30T06:19:19Z)
• Deep Stochastic Processes via Functional Markov Transition Operators [59.55961312230447]
  本稿では,ニューラルパラメータ化マルコフ遷移作用素の列を関数空間に重ねて構築した新しいプロセス群(SP)を紹介する。 これらのマルコフ遷移作用素は、SPの交換可能性と整合性を維持することができることを証明している。
  論文  参考訳（メタデータ） (2023-05-24T21:15:23Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• The Gaussian Neural Process [39.81327564209865]
  条件付きNPのトレーニングに使用される標準最大形目的の厳密な分析を行う。 本稿では, 予測相関をモデル化し, 翻訳を取り入れ, 普遍的近似保証を提供し, 促進性能を示すニューラルプロセスファミリー (gnp) の新しいメンバーを提案する。
  論文  参考訳（メタデータ） (2021-01-10T19:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。