論文の概要: Interpolation between Residual and Non-Residual Networks

• arxiv url: http://arxiv.org/abs/2006.05749v4
• Date: Sun, 16 Aug 2020 22:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 04:29:38.459966
• Title: Interpolation between Residual and Non-Residual Networks
• Title（参考訳）: 残差ネットワークと非抵抗ネットワークの補間
• Authors: Zonghan Yang, Yang Liu, Chenglong Bao, Zuoqiang Shi
• Abstract要約: ダンピング項を追加することで,新しいODEモデルを提案する。 提案モデルでは係数を調整してResNetとCNNの両方を復元可能であることを示す。 複数の画像分類ベンチマーク実験により,提案手法はResNetとResNeXtの精度を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 24.690238357686134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although ordinary differential equations (ODEs) provide insights for designing network architectures, its relationship with the non-residual convolutional neural networks (CNNs) is still unclear. In this paper, we present a novel ODE model by adding a damping term. It can be shown that the proposed model can recover both a ResNet and a CNN by adjusting an interpolation coefficient. Therefore, the damped ODE model provides a unified framework for the interpretation of residual and non-residual networks. The Lyapunov analysis reveals better stability of the proposed model, and thus yields robustness improvement of the learned networks. Experiments on a number of image classification benchmarks show that the proposed model substantially improves the accuracy of ResNet and ResNeXt over the perturbed inputs from both stochastic noise and adversarial attack methods. Moreover, the loss landscape analysis demonstrates the improved robustness of our method along the attack direction.
• Abstract（参考訳）: 通常の微分方程式(ODE)は、ネットワークアーキテクチャを設計するための洞察を提供するが、非残留畳み込みニューラルネットワーク(CNN)との関係はまだ不明である。 本稿では,減衰項を付加した新しいODEモデルを提案する。 補間係数を調整することにより,提案モデルがResNetとCNNの両方を復元可能であることを示す。 したがって、減衰ODEモデルは残留および非残留ネットワークの解釈のための統一的なフレームワークを提供する。 Lyapunov解析により,提案したモデルの安定性が向上し,学習ネットワークの堅牢性向上が期待できる。 複数の画像分類ベンチマーク実験により,確率的雑音法と逆攻撃法の両方による摂動入力に対するResNetとResNeXtの精度を大幅に向上することが示された。 さらに,ロスランドスケープ解析により,攻撃方向に沿ってロバスト性が向上したことを示す。

関連論文リスト

• GFN: A graph feedforward network for resolution-invariant reduced operator learning in multifidelity applications [0.0]
  本研究は,多忠実度アプリケーションのための新しい分解能不変モデルオーダー削減戦略を提案する。 我々はこの研究で開発された新しいニューラルネットワーク層、グラフフィードフォワードネットワークに基づいてアーキテクチャを構築した。 パラメトリックな偏微分方程式に対する自己エンコーダに基づく還元戦略において,異なるメッシュサイズでのトレーニングとテストの能力を利用する。
  論文  参考訳（メタデータ） (2024-06-05T18:31:37Z)
• Comprehensive Analysis of Network Robustness Evaluation Based on Convolutional Neural Networks with Spatial Pyramid Pooling [4.366824280429597]
  複雑なネットワークを理解し、最適化し、修復するための重要な側面である接続性の堅牢性は、伝統的にシミュレーションを通じて評価されてきた。 空間ピラミッドプールネットワーク(SPP-net)を用いた畳み込みニューラルネットワーク(CNN)モデルの設計により,これらの課題に対処する。 提案したCNNモデルは,全ての除去シナリオにおいて,攻撃曲線とロバストネスの両値の正確な評価を一貫して達成していることを示す。
  論文  参考訳（メタデータ） (2023-08-10T09:54:22Z)
• A New PHO-rmula for Improved Performance of Semi-Structured Networks [0.0]
  本研究では,SSNにおけるモデルコンポーネントのコントリビューションを適切に識別する手法が,最適ネットワーク推定に繋がることを示す。 モデルコンポーネントの識別性を保証し,予測品質を向上する非侵襲的ポストホック化(PHO)を提案する。 我々の理論的な知見は、数値実験、ベンチマーク比較、およびCOVID-19感染症に対する現実の応用によって裏付けられている。
  論文  参考訳（メタデータ） (2023-06-01T10:23:28Z)
• From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
  本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
  論文  参考訳（メタデータ） (2022-04-14T15:14:08Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
  ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
  論文  参考訳（メタデータ） (2020-09-21T16:32:04Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)
• On generalized residue network for deep learning of unknown dynamical systems [3.350695583277162]
  我々は、ディープニューラルネットワーク(DNN)を用いた未知の力学系を学習するための一般的な数値的手法を提案する。 提案手法は,残余ネットワーク(ResNet)を有効なニューラルネットワーク構造として同定した最近の研究に基づいている。
  論文  参考訳（メタデータ） (2020-01-23T01:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。