論文の概要: Sparse Flows: Pruning Continuous-depth Models

• arxiv url: http://arxiv.org/abs/2106.12718v1
• Date: Thu, 24 Jun 2021 01:40:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-26 07:38:02.034426
• Title: Sparse Flows: Pruning Continuous-depth Models
• Title（参考訳）: スパースフロー: 連続的な深度モデルを実行する
• Authors: Lucas Liebenwein, Ramin Hasani, Alexander Amini, Daniela Rus
• Abstract要約: 生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
• 参考スコア（独自算出の注目度）: 107.98191032466544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous deep learning architectures enable learning of flexible probabilistic models for predictive modeling as neural ordinary differential equations (ODEs), and for generative modeling as continuous normalizing flows. In this work, we design a framework to decipher the internal dynamics of these continuous depth models by pruning their network architectures. Our empirical results suggest that pruning improves generalization for neural ODEs in generative modeling. Moreover, pruning finds minimal and efficient neural ODE representations with up to 98\% less parameters compared to the original network, without loss of accuracy. Finally, we show that by applying pruning we can obtain insightful information about the design of better neural ODEs.We hope our results will invigorate further research into the performance-size trade-offs of modern continuous-depth models.
• Abstract（参考訳）: 連続ディープラーニングアーキテクチャは、予測モデリングをニューラル常微分方程式(ODE)として、生成モデリングを連続正規化フローとして、柔軟な確率モデルの学習を可能にする。 本研究では,ネットワークアーキテクチャを解析することにより,これらの連続深度モデルの内部ダイナミクスを解析するフレームワークを設計する。 実験結果から,プルーニングは生成モデルにおける神経オデムの一般化を改善できることが示唆された。 さらにpruningは、精度を損なうことなく、元のネットワークよりも最大98\%少ないパラメータで、最小かつ効率的なニューラルネットワークode表現を見つける。 最後に、プルーニングを適用することで、より優れたニューラルなODEの設計に関する洞察に富んだ情報を得ることができることを示し、現代の連続深度モデルの性能的なトレードオフに関するさらなる研究を期待する。

関連論文リスト

• Neural Residual Diffusion Models for Deep Scalable Vision Generation [17.931568104324985]
  我々は,統一的かつ大規模に拡張可能なニューラルネットワーク残差拡散モデルフレームワーク(Neural-RDM)を提案する。 提案したニューラル残差モデルは、画像およびビデオ生成ベンチマークの最先端スコアを取得する。
  論文  参考訳（メタデータ） (2024-06-19T04:57:18Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• Do We Need an Encoder-Decoder to Model Dynamical Systems on Networks? [18.92828441607381]
  埋め込みは観察によく適合するが、同時に誤った動的挙動を持つモデルを誘導することを示す。 2つの加法的ベクトル場成分をパラメトリした単純な埋め込み自由な代替法を提案する。
  論文  参考訳（メタデータ） (2023-05-20T12:41:47Z)
• Standalone Neural ODEs with Sensitivity Analysis [5.565364597145569]
  本稿では,完全深部ニューラルネットワークを記述可能な連続深部ニューラルネットワークモデルを提案する。 神経感受性問題の一般的な定式化を行い,NCGトレーニングでどのように使用されるかを示す。 我々の新しい定式化がResNetモデルと比較してロバスト性や性能の向上につながることを示す。
  論文  参考訳（メタデータ） (2022-05-27T12:16:53Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Neural Closure Models for Dynamical Systems [35.000303827255024]
  低忠実度モデルに対する非マルコフ閉閉パラメータ化を学習する新しい手法を開発した。 ニューラルクロージャモデル」はニューラル遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する 非マルコヴィアンオーバーマルコヴィアンクロージャを使用することで、長期的精度が向上し、より小さなネットワークが必要であることを示した。
  論文  参考訳（メタデータ） (2020-12-27T05:55:33Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。