論文の概要: A variational approximate posterior for the deep Wishart process

• arxiv url: http://arxiv.org/abs/2107.10125v1
• Date: Wed, 21 Jul 2021 14:48:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-22 14:22:45.312508
• Title: A variational approximate posterior for the deep Wishart process
• Title（参考訳）: 深部ウィッシュアート過程における変分近似後方法
• Authors: Sebastian W. Ober, Laurence Aitchison
• Abstract要約: 最近の研究は、NNの完全なカーネルベースの代替としてディープカーネルプロセスを導入した。 正半定値行列上の柔軟な分布を得るための新しいアプローチを提案する。 我々は,深部ウィッシュアートプロセスにおける推論が,DGPにおける推論よりも性能を向上することを示す。
• 参考スコア（独自算出の注目度）: 23.786649328915093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work introduced deep kernel processes as an entirely kernel-based alternative to NNs (Aitchison et al. 2020). Deep kernel processes flexibly learn good top-layer representations by alternately sampling the kernel from a distribution over positive semi-definite matrices and performing nonlinear transformations. A particular deep kernel process, the deep Wishart process (DWP), is of particular interest because its prior is equivalent to deep Gaussian process (DGP) priors. However, inference in DWPs has not yet been possible due to the lack of sufficiently flexible distributions over positive semi-definite matrices. Here, we give a novel approach to obtaining flexible distributions over positive semi-definite matrices by generalising the Bartlett decomposition of the Wishart probability density. We use this new distribution to develop an approximate posterior for the DWP that includes dependency across layers. We develop a doubly-stochastic inducing-point inference scheme for the DWP and show experimentally that inference in the DWP gives improved performance over doing inference in a DGP with the equivalent prior.
• Abstract（参考訳）: 最近の研究は、NNの完全なカーネルベースの代替としてディープカーネルプロセスを導入した(Aitchison et al)。 2020). 深いカーネルプロセスは、正の半定値行列上の分布からカーネルを交互にサンプリングし、非線形変換を行うことで、優れたトップ層表現を柔軟に学習する。 特定の深いカーネルプロセスであるディープ・ウィッシュアート・プロセス(dwp)は、その前処理がディープ・ガウス・プロセス(dgp)前処理と等価であるため、特に興味深い。 しかし、正の半定値行列上の十分柔軟な分布が欠如しているため、DWPの推論はまだ不可能である。 本稿では、ウィッシュアート確率密度のバーレット分解を一般化し、正の半定値行列上の柔軟な分布を得るための新しいアプローチを提案する。 この新たな分布を用いて、層間依存性を含むDWPの近似後部を構築する。 本研究では,DWPの2つの確率的インジェクションポイント推論手法を開発し,DWPの推論がDGPの推論よりも優れた性能を示すことを示す。

関連論文リスト

• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• PDE+: Enhancing Generalization via PDE with Adaptive Distributional Diffusion [66.95761172711073]
  ニューラルネットワークの一般化は、機械学習における中心的な課題です。 本稿では、入力データを調整することに集中するのではなく、ニューラルネットワークの基盤機能を直接拡張することを提案する。 私たちはこの理論的フレームワークを、$textbfPDE+$$textbfPDE$ with $textbfA$daptive $textbfD$istributional $textbfD$iffusionとして実践しました。
  論文  参考訳（メタデータ） (2023-05-25T08:23:26Z)
• An Improved Variational Approximate Posterior for the Deep Wishart Process [24.442174952832108]
  ディープカーネルプロセスは、最近導入されたディープベイズモデルのクラスである。 それらは正の半定値行列上の分布からグラム行列をサンプリングすることによって動作する。 さらに,行と列の線形結合が可能であるように分布を一般化することで,予測性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-05-23T18:26:29Z)
• Scalable Optimal Margin Distribution Machine [50.281535710689795]
  ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。 本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
  論文  参考訳（メタデータ） (2023-05-08T16:34:04Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning [6.599344783327054]
  本稿では,階層構成における中間GPをハイパーデータでサポートする条件付きDeep Gaussian Process (DGP)を提案する。 潜時空間における高密度ハイパーデータ限界における深層カーネル学習の等価性を示す。 予備補間の結果は,提案モデルがGPカーネル構成,DGP変分推論,深層カーネル学習と比較して表現力を示す。
  論文  参考訳（メタデータ） (2021-10-01T17:50:48Z)
• A theory of representation learning gives a deep generalisation of kernel methods [22.260038428890383]
  我々は、新しい無限幅制限、ベイズ表現学習限界を開発する。 有限幅モデルにおける表現学習ミラーリングを示す。 次に、この制限と目的を、カーネルメソッドの柔軟な、より深い一般化として使用できる可能性を紹介します。
  論文  参考訳（メタデータ） (2021-08-30T10:07:37Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Convolutional Normalizing Flows for Deep Gaussian Processes [40.10797051603641]
  本稿では、柔軟で任意に複雑でスケーラブルな後方分布を特定するための新しいアプローチを提案する。 新しい畳み込み正規化フロー(CNF)が開発され、時間効率を改善し、層間の依存性を捉える。 経験的評価は、CNF DGPがDGPの最先端近似法より優れていることを示している。
  論文  参考訳（メタデータ） (2021-04-17T07:25:25Z)
• Deep kernel processes [34.99042782396683]
  深いガウス過程(DGP)、ベイズニューラルネットワーク(BNN)、無限のBNN、ボトルネックのある無限のBNNは、すべてディープカーネルプロセスとして記述できる。 DGP について、同値性は、特徴の内積によって形成されるグラム行列がウィッシュアート分布であるから生じる。 深部逆ウィッシュアート法は、標準完全連結ベースライン上でのDGPおよび無限BNNよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2020-10-04T14:31:18Z)
• Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
  モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。 スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2020-04-12T12:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。