論文の概要: torchode: A Parallel ODE Solver for PyTorch
- arxiv url: http://arxiv.org/abs/2210.12375v1
- Date: Sat, 22 Oct 2022 07:08:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 22:03:43.658252
- Title: torchode: A Parallel ODE Solver for PyTorch
- Title(参考訳): torchode: PyTorch用の並列ODEソルバー
- Authors: Marten Lienen and Stephan G\"unnemann
- Abstract要約: 我々はPyTorchエコシステムのためのODEソルバを導入し、複数のODEを互いに独立して並列に解決する。
我々の実装は他のODEソルバよりも1ステップあたり4.3倍高速です。
- 参考スコア(独自算出の注目度): 2.538209532048867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce an ODE solver for the PyTorch ecosystem that can solve multiple
ODEs in parallel independently from each other while achieving significant
performance gains. Our implementation tracks each ODE's progress separately and
is carefully optimized for GPUs and compatibility with PyTorch's JIT compiler.
Its design lets researchers easily augment any aspect of the solver and collect
and analyze internal solver statistics. In our experiments, our implementation
is up to 4.3 times faster per step than other ODE solvers and it is robust
against within-batch interactions that lead other solvers to take up to 4 times
as many steps.
- Abstract(参考訳): 我々は、PyTorchエコシステム用のODEソルバを導入し、複数のODEを互いに独立して並列に解決し、大幅な性能向上を実現した。
実装では、それぞれのODEの進捗を別途追跡し、GPUやPyTorchのJITコンパイラとの互換性に慎重に最適化しています。
その設計により、研究者は容易に解法のあらゆる側面を拡大し、内部の解法統計を収集し分析することができる。
我々の実験では、我々の実装は他のODEソルバよりも最大4.3倍高速で、他のソルバが最大4倍のステップを取るようにするためのバッチ内相互作用に対して堅牢である。
関連論文リスト
- Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。
本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
論文 参考訳(メタデータ) (2022-07-09T09:14:12Z) - Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs [16.516974867571175]
本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。
近似的暗黙解法は、数値安定性と計算効率において明示的解法よりも優れていることを保証している。
論文 参考訳(メタデータ) (2022-04-19T02:55:10Z) - Quantum optimization via four-body Rydberg gates [0.0]
高速で高忠実な4体リドベルクパリティゲートを提案し,解析する。
我々のゲートは1回最適化された断熱レーザーパルスに依存しており、動作中に2回のホールドタイムを調整することで完全にプログラム可能である。
小型テスト問題に対する量子近似最適化アルゴリズム(QAOA)の実装を実証する。
論文 参考訳(メタデータ) (2021-06-04T18:33:09Z) - Generalized Pose-and-Scale Estimation using 4-Point Congruence
Constraints [5.063728016437489]
gP4Pcは、一般的なカメラの絶対的なポーズを、対応する4つの3Dポイント・アンド・レイペアから未知の内部スケールで計算する新しい方法である。
実データと合成データを用いた実験により,gP4PcはSACRANフレームワーク内での使用時の総実行時間において最速の手法であることが示された。
論文 参考訳(メタデータ) (2020-11-27T16:30:19Z) - Scaling Distributed Deep Learning Workloads beyond the Memory Capacity
with KARMA [58.040931661693925]
冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。
最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。
我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
論文 参考訳(メタデータ) (2020-08-26T07:24:34Z) - Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。
最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。
ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文 参考訳(メタデータ) (2020-06-18T08:16:25Z) - EDD: Efficient Differentiable DNN Architecture and Implementation
Co-search for Embedded AI Solutions [40.32848001349242]
本稿では,完全同時かつ効率的なDNNアーキテクチャと実装共同研究手法を提案する。
探索変数とハードウェア実装変数を1つの解空間に融合させることにより,共同探索問題を定式化し,アルゴリズムの精度とハードウェア実装品質を最大化する。
論文 参考訳(メタデータ) (2020-05-06T02:37:48Z) - Physarum Powered Differentiable Linear Programming Layers and
Applications [48.77235931652611]
一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。
本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
論文 参考訳(メタデータ) (2020-04-30T01:50:37Z) - MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical
Models [96.1052289276254]
この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。
驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
論文 参考訳(メタデータ) (2020-04-16T16:20:53Z) - Accelerating Feedforward Computation via Parallel Nonlinear Equation
Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。
本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。
提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文 参考訳(メタデータ) (2020-02-10T10:11:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。