論文の概要: TyXe: Pyro-based Bayesian neural nets for Pytorch
- arxiv url: http://arxiv.org/abs/2110.00276v1
- Date: Fri, 1 Oct 2021 09:04:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 22:23:50.474524
- Title: TyXe: Pyro-based Bayesian neural nets for Pytorch
- Title（参考訳）: TyXe:Pytorchのためのピロベースベイズニューラルネットワーク
- Authors: Hippolyt Ritter, Theofanis Karaletsos
- Abstract要約: 我々はPytorchとPyro上に構築されたベイズニューラルネットワークライブラリTyXeを紹介する。
私たちの主要な設計原則は、アーキテクチャ、事前、推論、そして可能性仕様をきれいに分離することです。
既存のパッケージとは対照的に、TyXeはいかなるレイヤクラスも実装せず、代わりに一般的なPytorchコードで定義されたアーキテクチャに依存している。
- 参考スコア（独自算出の注目度）: 12.343312954353639
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce TyXe, a Bayesian neural network library built on top of Pytorch
and Pyro. Our leading design principle is to cleanly separate architecture,
prior, inference and likelihood specification, allowing for a flexible workflow
where users can quickly iterate over combinations of these components. In
contrast to existing packages TyXe does not implement any layer classes, and
instead relies on architectures defined in generic Pytorch code. TyXe then
provides modular choices for canonical priors, variational guides, inference
techniques, and layer selections for a Bayesian treatment of the specified
architecture. Sampling tricks for variance reduction, such as local
reparameterization or flipout, are implemented as effect handlers, which can be
applied independently of other specifications. We showcase the ease of use of
TyXe to explore Bayesian versions of popular models from various libraries: toy
regression with a pure Pytorch neural network; large-scale image classification
with torchvision ResNets; graph neural networks based on DGL; and Neural
Radiance Fields built on top of Pytorch3D. Finally, we provide convenient
abstractions for variational continual learning. In all cases the change from a
deterministic to a Bayesian neural network comes with minimal modifications to
existing code, offering a broad range of researchers and practitioners alike
practical access to uncertainty estimation techniques. The library is available
at https://github.com/TyXe-BDL/TyXe.
- Abstract（参考訳）: 我々は,pytorchとpyro上に構築されたベイジアンニューラルネットワークライブラリtyxeを紹介する。
私たちの主要な設計原則は、アーキテクチャ、事前、推論、可能性仕様をきれいに分離し、ユーザがこれらのコンポーネントの組み合わせをすばやくイテレーションできる柔軟なワークフローを可能にすることです。
既存のパッケージとは対照的に、TyXeはいかなるレイヤクラスも実装せず、代わりに一般的なPytorchコードで定義されたアーキテクチャに依存している。
するとTyXeは、標準の事前、変分ガイド、推論技術、特定のアーキテクチャのベイズ的処理のための層選択に対するモジュラー選択を提供する。
局所的なパラメータ化やフリップアウトのような分散低減のためのサンプリングトリックはエフェクトハンドラとして実装され、他の仕様とは独立して適用できる。
我々はTyXeを使って、純粋なPytorchニューラルネットワークによるおもちゃの回帰、トーチビジョンResNetによる大規模画像分類、DGLに基づくグラフニューラルネットワーク、Pytorch3D上に構築されたニューラルネットワークなど、さまざまなライブラリから人気のあるモデルのベイズ版を簡単に探索する。
最後に,変分連続学習のための便利な抽象化を提供する。
あらゆるケースにおいて、決定論からベイズ的ニューラルネットワークへの変化は、既存のコードへの最小限の変更によってもたらされる。
ライブラリはhttps://github.com/TyXe-BDL/TyXeで入手できる。
関連論文リスト
- Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文 参考訳（メタデータ） (2023-05-26T04:34:28Z) - torchgfn: A PyTorch GFlowNet library [56.071033896777784]
torchgfnはPyTorchライブラリで、このニーズに対処することを目指している。
環境のためのシンプルなAPIと、サンプルと損失のための有用な抽象化を提供する。
論文 参考訳（メタデータ） (2023-05-24T00:20:59Z) - cito: An R package for training neural networks using torch [0.0]
citoは、ディープラーニング(DL)アプリケーションのためのユーザフレンドリーなRパッケージである。
多くのRパッケージで使われている慣れ親しんだ式構文でDNNを指定することができる。
「シトー」には、モデルプロットと分析のための多くのユーザフレンドリーな機能が含まれている。
論文 参考訳（メタデータ） (2023-03-16T18:54:20Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - TorchNTK: A Library for Calculation of Neural Tangent Kernels of PyTorch
Models [16.30276204466139]
我々は、PyTorchフレームワークでニューラルネットワークモデルの実験的ニューラルネットワークカーネル(NTK)を計算するためのピソンライブラリであるTorchNTKを紹介する。
このライブラリの特徴は、ユーザをレイヤワイドNTKコンポーネントに公開し、階層ワイドの計算がよりメモリ効率が高いことを示すことである。
論文 参考訳（メタデータ） (2022-05-24T21:27:58Z) - Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。
分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
論文 参考訳（メタデータ） (2022-02-10T21:45:49Z) - TensorX: Extensible API for Neural Network Model Design and Deployment [0.0]
TensorFlowXは、計算における複雑なニューラルネットワークモデルのプロトタイピング、設計、デプロイのためのPythonライブラリである。
使いやすさ、パフォーマンス、APIの一貫性に特に重点を置いています。
論文 参考訳（メタデータ） (2020-12-29T00:15:38Z) - Embedded methods for feature selection in neural networks [0.0]
ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。
パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。
PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
論文 参考訳（メタデータ） (2020-10-12T16:33:46Z) - Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。
このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。
分類モデルと非分類モデルの両方に使用できる。
論文 参考訳（メタデータ） (2020-09-16T18:57:57Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。