論文の概要: TorchDyn: A Neural Differential Equations Library

• arxiv url: http://arxiv.org/abs/2009.09346v1
• Date: Sun, 20 Sep 2020 03:45:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 12:24:53.881663
• Title: TorchDyn: A Neural Differential Equations Library
• Title（参考訳）: TorchDyn: ニューラルネットワークの微分方程式ライブラリ
• Authors: Michael Poli, Stefano Massaroli, Atsushi Yamashita, Hajime Asama, Jinkyoo Park
• Abstract要約: 継続的深層学習に特化したPyTorchライブラリであるTorchDynを紹介する。 通常のプラグアンドプレイ深層学習プリミティブと同じくらいアクセスしやすいように、神経微分方程式を高めるように設計されている。
• 参考スコア（独自算出の注目度）: 16.43439140464003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous-depth learning has recently emerged as a novel perspective on deep learning, improving performance in tasks related to dynamical systems and density estimation. Core to these approaches is the neural differential equation, whose forward passes are the solutions of an initial value problem parametrized by a neural network. Unlocking the full potential of continuous-depth models requires a different set of software tools, due to peculiar differences compared to standard discrete neural networks, e.g inference must be carried out via numerical solvers. We introduce TorchDyn, a PyTorch library dedicated to continuous-depth learning, designed to elevate neural differential equations to be as accessible as regular plug-and-play deep learning primitives. This objective is achieved by identifying and subdividing different variants into common essential components, which can be combined and freely repurposed to obtain complex compositional architectures. TorchDyn further offers step-by-step tutorials and benchmarks designed to guide researchers and contributors.
• Abstract（参考訳）: 継続的深層学習は、最近、深層学習、動的システムに関連するタスクのパフォーマンス向上、密度推定に関する新しい視点として登場した。 これらのアプローチの核となるのが、ニューラルネットワークによってパラメータ化された初期値問題の解をフォワードパスとする神経微分方程式である。 連続深度モデルの完全なポテンシャルを解き放つには、標準的な離散ニューラルネットワークと特異な違いがあるため、ソフトウェアツールのセットが異なる必要がある。 ニューラルネットワークの微分方程式を、通常のプラグ・アンド・プレイのディープラーニングプリミティブと同じくらいアクセスしやすいように高めるように設計された、継続的深層学習に特化したpytorchライブラリであるtorchdynを紹介する。 この目的は、異なる変種を共通の必須成分に識別し、分割することで達成される。 torchdynはさらに、研究者やコントリビュータをガイドするステップバイステップのチュートリアルやベンチマークも提供している。

関連論文リスト

• Spectral-Bias and Kernel-Task Alignment in Physically Informed Neural Networks [4.604003661048267]
  物理情報ニューラルネットワーク(PINN)は微分方程式の解法として有望である。 この重要な問題に光を当てる包括的な理論的枠組みを提案する。 我々は、PINN予測を大容量データセット限界で支配する積分微分方程式を導出する。
  論文  参考訳（メタデータ） (2023-07-12T18:00:02Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Neural Galerkin Schemes with Active Learning for High-Dimensional Evolution Equations [44.89798007370551]
  本研究では,高次元偏微分方程式を数値的に解くために,能動的学習を用いた学習データを生成するディープラーニングに基づくニューラル・ガレルキンスキームを提案する。 ニューラル・ガレルキンスキームはディラック・フランケル変分法に基づいて、残余を時間とともに最小化することで、ネットワークを訓練する。 提案したニューラル・ガレルキン・スキームの学習データ収集は,高次元におけるネットワークの表現力を数値的に実現するための鍵となる。
  論文  参考訳（メタデータ） (2022-03-02T19:09:52Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Learning ODEs via Diffeomorphisms for Fast and Robust Integration [40.52862415144424]
  微分可能な解法はニューラルネットワークの学習の中心である。 本稿では,データからODEを学習するための代替手法を提案する。 学習したODEと勾配を統合する場合、最大2桁の改善を観測する。
  論文  参考訳（メタデータ） (2021-07-04T14:32:16Z)
• Fully differentiable model discovery [0.0]
  ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。 我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
  論文  参考訳（メタデータ） (2021-06-09T08:11:23Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。