論文の概要: Hypersolvers: Toward Fast Continuous-Depth Models

• arxiv url: http://arxiv.org/abs/2007.09601v2
• Date: Tue, 29 Dec 2020 06:20:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 00:08:30.358649
• Title: Hypersolvers: Toward Fast Continuous-Depth Models
• Title（参考訳）: Hypersolvers: 高速な継続的深度モデルを目指して
• Authors: Michael Poli, Stefano Massaroli, Atsushi Yamashita, Hajime Asama, Jinkyoo Park
• Abstract要約: オーバヘッドが低く、精度が理論的に保証されているODEを解くために設計されたニューラルネットワークであるハイパーソルバを導入する。 ハイパーゾルバとニューラルODEの相乗的組み合わせにより、安上がりな推論が可能となり、連続深度モデルの実用的な応用のための新しいフロンティアが解放される。
• 参考スコア（独自算出の注目度）: 16.43439140464003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The infinite-depth paradigm pioneered by Neural ODEs has launched a renaissance in the search for novel dynamical system-inspired deep learning primitives; however, their utilization in problems of non-trivial size has often proved impossible due to poor computational scalability. This work paves the way for scalable Neural ODEs with time-to-prediction comparable to traditional discrete networks. We introduce hypersolvers, neural networks designed to solve ODEs with low overhead and theoretical guarantees on accuracy. The synergistic combination of hypersolvers and Neural ODEs allows for cheap inference and unlocks a new frontier for practical application of continuous-depth models. Experimental evaluations on standard benchmarks, such as sampling for continuous normalizing flows, reveal consistent pareto efficiency over classical numerical methods.
• Abstract（参考訳）: ニューラルODEによって先駆された無限深度パラダイムは、新しい動的システムにインスパイアされたディープラーニングプリミティブの探索においてルネサンスを発生させたが、非自明なサイズの問題におけるそれらの利用は、計算スケーラビリティの低下により不可能であることがしばしば証明されている。 この作業は、従来の離散ネットワークに匹敵する時間と予測を備えたスケーラブルなニューラルODEの道を開く。 低オーバーヘッドで解くために設計されたハイパーソルバと精度を理論的に保証するニューラルネットワークを提案する。 ハイパーゾルバとニューラルODEの相乗的組み合わせにより、安上がりな推論が可能となり、連続深さモデルの実践的な応用のための新しいフロンティアが解放される。 連続正規化流のサンプリングのような標準ベンチマークの実験的評価は、古典的数値法よりも一貫性のあるパレート効率を示している。

関連論文リスト

• Neural Networks-based Random Vortex Methods for Modelling Incompressible Flows [0.0]
  本稿では,(2D)非圧縮性ナビエ-ストークス方程式に対する解を近似するためのニューラルネットワークに基づく新しい手法を提案する。 このアルゴリズムは、ランダム渦力学の計算効率の良い定式化を利用する損失関数に基づいて、渦を近似する物理インフォームドニューラルネットワークを用いている。
  論文  参考訳（メタデータ） (2024-05-22T14:36:23Z)
• Continuous Learned Primal Dual [10.111901389604423]
  ニューラルネットワークの階層列は、単にODEの離散化であり、パラメータ化されたODEによって直接モデル化できるという考えを提唱する。 本研究では,ニューラルネットワークを用いた逆問題,特によく知られたLearned Primal Dualアルゴリズムについて検討し,CT(Computerd tomography)再構成に適用する。
  論文  参考訳（メタデータ） (2024-05-03T20:40:14Z)
• On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
  ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。 様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-07T09:02:18Z)
• On the balance between the training time and interpretability of neural ODE for time series modelling [77.34726150561087]
  本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。 ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。 本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
  論文  参考訳（メタデータ） (2022-06-07T13:49:40Z)
• Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules [10.924226420146626]
  連続時間シーケンス処理網を構築するために,学習ルールとニューラルODEを組み合わせた新しい手法を提案する。 これにより、Fast Weight Programmers と linear Transformer の連続時間版が生成される。
  論文  参考訳（メタデータ） (2022-06-03T15:48:53Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。