論文の概要: Compressing Deep ODE-Nets using Basis Function Expansions

• arxiv url: http://arxiv.org/abs/2106.10820v1
• Date: Mon, 21 Jun 2021 03:04:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:51:59.936322
• Title: Compressing Deep ODE-Nets using Basis Function Expansions
• Title（参考訳）: 基底関数展開を用いたDeep ODE-Netの圧縮
• Authors: Alejandro Queiruga, N. Benjamin Erichson, Liam Hodgkinson, Michael W. Mahoney
• Abstract要約: 重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
• 参考スコア（独自算出の注目度）: 105.05435207079759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recently-introduced class of ordinary differential equation networks (ODE-Nets) establishes a fruitful connection between deep learning and dynamical systems. In this work, we reconsider formulations of the weights as continuous-depth functions using linear combinations of basis functions. This perspective allows us to compress the weights through a change of basis, without retraining, while maintaining near state-of-the-art performance. In turn, both inference time and the memory footprint are reduced, enabling quick and rigorous adaptation between computational environments. Furthermore, our framework enables meaningful continuous-in-time batch normalization layers using function projections. The performance of basis function compression is demonstrated by applying continuous-depth models to (a) image classification tasks using convolutional units and (b) sentence-tagging tasks using transformer encoder units.
• Abstract（参考訳）: 最近導入された常微分方程式ネットワーク(ODE-Net)のクラスは、ディープラーニングと動的システムの間の実りある関係を確立する。 本研究では,基底関数の線形結合を用いて,重みを連続深さ関数として定式化する。 この視点によって、ほぼ最先端のパフォーマンスを維持しながら、再トレーニングすることなく、基礎の変更を通じて重み付けを圧縮できるのです。 結果として、推論時間とメモリフットプリントの両方が削減され、計算環境間の迅速かつ厳密な適応が可能になる。 さらに,本フレームワークは,関数投影を用いた有意義な連続時間バッチ正規化レイヤを実現する。 a)畳み込み単位を用いた画像分類タスクと(b)変換器エンコーダ単位を用いた文タグ付けタスクに連続深度モデルを適用することにより、基底関数圧縮の性能を示す。

関連論文リスト

• Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations [0.0]
  変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。 ニューラルネットワークは過渡系力学の学習において優れている。 この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
  論文  参考訳（メタデータ） (2024-10-14T05:45:52Z)
• Efficient Weight-Space Laplace-Gaussian Filtering and Smoothing for Sequential Deep Learning [29.328769628694484]
  連続学習のような関連するタスクのシーケンスを効果的に学習することは、ニューラルネットにとって重要な課題となる。 ベイズ推定に基づくタスクを逐次学習するための基盤的枠組みを用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2024-10-09T11:54:33Z)
• LayerCollapse: Adaptive compression of neural networks [13.567747247563108]
  トランスフォーマーネットワークは、自然言語処理やコンピュータビジョンにおいて、先行技術より優れている。 モデルは数億のパラメータを含み、重要な計算資源を必要とする。 完全に連結された層の深さを減少させる新しい構造化プルーニング法であるLayerCollapseを提案する。
  論文  参考訳（メタデータ） (2023-11-29T01:23:41Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Hierarchical Spherical CNNs with Lifting-based Adaptive Wavelets for Pooling and Unpooling [101.72318949104627]
  本稿では, 階層型畳み込みニューラルネットワーク(HS-CNN)の新たな枠組みを提案し, プールやアンプールのための適応球面ウェーブレットを学習する。 LiftHS-CNNは、画像レベルのタスクとピクセルレベルのタスクの両方において、より効率的な階層的特徴学習を実現する。
  論文  参考訳（メタデータ） (2022-05-31T07:23:42Z)
• SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
  完全に接続されたネットワークはユビキタスだが解釈不能である。 本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。 完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
  論文  参考訳（メタデータ） (2021-11-20T16:18:00Z)
• Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
  Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。 室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
  論文  参考訳（メタデータ） (2021-01-17T18:28:23Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。