論文の概要: m-RevNet: Deep Reversible Neural Networks with Momentum

• arxiv url: http://arxiv.org/abs/2108.05862v2
• Date: Mon, 16 Aug 2021 13:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 11:14:09.474759
• Title: m-RevNet: Deep Reversible Neural Networks with Momentum
• Title（参考訳）: m-RevNet: モーメント付きディープ可逆ニューラルネットワーク
• Authors: Duo Li and Shang-Hua Gao
• Abstract要約: 本稿では,m-RevNetと呼ばれる可逆ニューラルネットワークを提案する。 ある種の学習シナリオでは、標準的なResNetが失敗しながらm-RevNetが成功することを分析的に実証的に明らかにします。
• 参考スコア（独自算出の注目度）: 25.609808975649624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the connections between deep residual networks and first-order Ordinary Differential Equations (ODEs) have been disclosed. In this work, we further bridge the deep neural architecture design with the second-order ODEs and propose a novel reversible neural network, termed as m-RevNet, that is characterized by inserting momentum update to residual blocks. The reversible property allows us to perform backward pass without access to activation values of the forward pass, greatly relieving the storage burden during training. Furthermore, the theoretical foundation based on second-order ODEs grants m-RevNet with stronger representational power than vanilla residual networks, which potentially explains its performance gains. For certain learning scenarios, we analytically and empirically reveal that our m-RevNet succeeds while standard ResNet fails. Comprehensive experiments on various image classification and semantic segmentation benchmarks demonstrate the superiority of our m-RevNet over ResNet, concerning both memory efficiency and recognition performance.
• Abstract（参考訳）: 近年,深層残留ネットワークと一階常微分方程式(odes)の関係が明らかにされている。 本研究では,2階のODEでディープ・ニューラル・アーキテクチャの設計をさらにブリッジし,m-RevNetと呼ばれる新しい可逆ニューラルネットワークを提案する。 可逆性により、前方パスのアクティベーション値にアクセスすることなく後方パスを行うことができ、トレーニング中の記憶負荷を大幅に軽減できる。 さらに、二階 odes に基づく理論的基礎は、バニラ残差ネットワークよりも強力な表現力を持つ m-revnet を付与する。 ある種の学習シナリオでは、標準的なResNetが失敗しながらm-RevNetが成功することを分析的に実証的に明らかにします。 画像分類と意味セグメンテーションベンチマークに関する包括的実験により,メモリ効率と認識性能の両方において,resnetよりもm-revnetが優れていることが示された。

関連論文リスト

• Reversible Decoupling Network for Single Image Reflection Removal [15.763420129991255]
  高レベルのセマンティックなヒントは、層間伝播中に圧縮または破棄される傾向がある。 我々はReversible Decoupling Network (RDNet)と呼ばれる新しいアーキテクチャを提案する。 RDNetは可逆エンコーダを使用して、転送時と反射時の特徴を柔軟に分離しながら、貴重な情報を確保する。
  論文  参考訳（メタデータ） (2024-10-10T15:58:27Z)
• Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
  本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
  論文  参考訳（メタデータ） (2024-01-08T18:59:31Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
  高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。 スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。 提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
  論文  参考訳（メタデータ） (2021-04-09T14:12:43Z)
• Momentum Residual Neural Networks [22.32840998053339]
  モーメント項を追加することで、ResNetの前方ルールを変更することを提案する。 MomentumNetsは既存のResNetブロックのドロップイン代替として使用できる。 我々は、MomentumNetsがResNetsと同じ精度であり、メモリフットプリントがはるかに小さいことを示す。
  論文  参考訳（メタデータ） (2021-02-15T22:24:52Z)
• Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
  ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
  論文  参考訳（メタデータ） (2020-09-21T16:32:04Z)
• Implicit Euler ODE Networks for Single-Image Dehazing [33.34490764631837]
  単一画像デハージング問題に対して,効率的なマルチレベル暗黙ネットワーク(MI-Net)を提案する。 提案手法は既存の手法より優れ,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-07-13T15:27:33Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)
• Lifted Regression/Reconstruction Networks [17.89437720094451]
  本稿では,リフレクション/リコンストラクションネットワーク(LRRN)を提案する。 LRRNは、昇降ニューラルネットワークと出力層に対する保証されたリプシッツ連続性特性を結合する。 教師なし・教師なし学習への応用を解析・数値的に実証する。
  論文  参考訳（メタデータ） (2020-05-07T13:24:46Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。