論文の概要: Continuous-in-Depth Neural Networks

• arxiv url: http://arxiv.org/abs/2008.02389v1
• Date: Wed, 5 Aug 2020 22:54:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 17:53:43.481693
• Title: Continuous-in-Depth Neural Networks
• Title（参考訳）: 深部連続ニューラルネットワーク
• Authors: Alejandro F. Queiruga, N. Benjamin Erichson, Dane Taylor and Michael W. Mahoney
• Abstract要約: まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
• 参考スコア（独自算出の注目度）: 107.47887213490134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has attempted to interpret residual networks (ResNets) as one step of a forward Euler discretization of an ordinary differential equation, focusing mainly on syntactic algebraic similarities between the two systems. Discrete dynamical integrators of continuous dynamical systems, however, have a much richer structure. We first show that ResNets fail to be meaningful dynamical integrators in this richer sense. We then demonstrate that neural network models can learn to represent continuous dynamical systems, with this richer structure and properties, by embedding them into higher-order numerical integration schemes, such as the Runge Kutta schemes. Based on these insights, we introduce ContinuousNet as a continuous-in-depth generalization of ResNet architectures. ContinuousNets exhibit an invariance to the particular computational graph manifestation. That is, the continuous-in-depth model can be evaluated with different discrete time step sizes, which changes the number of layers, and different numerical integration schemes, which changes the graph connectivity. We show that this can be used to develop an incremental-in-depth training scheme that improves model quality, while significantly decreasing training time. We also show that, once trained, the number of units in the computational graph can even be decreased, for faster inference with little-to-no accuracy drop.
• Abstract（参考訳）: 最近の研究は、残留ネットワーク(ResNets)を通常の微分方程式のオイラー離散化の一段階として解釈しようと試みており、主に2つの系間の構文的代数的類似性に焦点を当てている。 しかし、連続力学系の離散力学積分器はよりリッチな構造を持つ。 まず、このリッチな意味では、resnetは意味のある動的インテグレータにはなりません。 次に,このリッチな構造と性質を持つ連続力学系を,runge kuttaスキームのような高次数値積分スキームに組み込むことにより,ニューラルネットワークモデルで表現できることを実証する。 これらの知見に基づいて、ContinuousNetをResNetアーキテクチャの詳細な一般化として紹介する。 連続ネットは特定の計算グラフの表現に不変性を示す。 すなわち、階層数を変化させる離散時間ステップサイズと、グラフ接続を変化させる異なる数値積分スキームによって、深度の連続モデルを評価することができる。 モデル品質を向上し,トレーニング時間を著しく短縮するインクリメンタル・イン・ディーズ・トレーニング・スキームの開発に使用できることを示す。 また、トレーニングを済ませば、計算グラフ内のユニット数を減らし、精度を低下させることなく高速な推論を行うことも示している。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Piecewise-Velocity Model for Learning Continuous-time Dynamic Node Representations [0.0]
  連続時間動的ネットワーク表現のためのPiecewise-Veable Model (PiVeM)。 超低次元空間において、PiVeMはネットワーク構造と力学をうまく表現できることを示す。 リンク予測などの下流タスクでは、関連する最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-12-23T13:57:56Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Efficient-Dyn: Dynamic Graph Representation Learning via Event-based Temporal Sparse Attention Network [2.0047096160313456]
  動的グラフニューラルネットワークは、研究者からますます注目を集めている。 本稿では,新しい動的グラフニューラルネットワークであるEfficient-Dynを提案する。 時間的情報を同じ量の時間的トポロジ的構造を持つパッチのシーケンスに適応的に符号化する。
  論文  参考訳（メタデータ） (2022-01-04T23:52:24Z)
• Spectral Transform Forms Scalable Transformer [1.19071399645846]
  この研究は自己注意の哲学から学び、情報的長距離時間相互作用を用いた効率的なスペクトルベースの神経ユニットを提案する。 開発されたスペクトルウィンドウユニット(SW)モデルは、保証された効率でスケーラブルな動的グラフを予測する。
  論文  参考訳（メタデータ） (2021-11-15T08:46:01Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。