論文の概要: Rethinking ResNets: Improved Stacking Strategies With High Order Schemes

• arxiv url: http://arxiv.org/abs/2103.15244v1
• Date: Sun, 28 Mar 2021 23:29:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 06:57:04.489392
• Title: Rethinking ResNets: Improved Stacking Strategies With High Order Schemes
• Title（参考訳）: resnetsの再検討: 高次スキームによるスタック戦略の改善
• Authors: Zhengbo Luo and Zitang Sun and Weilian Zhou and Sei-ichiro Kamata
• Abstract要約: DNNの設計戦略は、常に小さな設計を積み重ねることによって、容易に改善できることが示される。 我々は,多くの実効ネットワークを微分方程式の異なる数値的離散化として解釈できるという観測から着想を得た,高次手法で残差設計を再構成した。
• 参考スコア（独自算出の注目度）: 3.746889836344765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Various Deep Neural Network architectures are keeping massive vital records in computer vision. While drawing attention worldwide, the design of the overall structure somehow lacks general guidance. Based on the relationship between DNN design with numerical differential equations, which several researchers observed in recent years, we perform a fair comparison of residual design with higher-order perspectives. We show that the widely used DNN design strategy, constantly stacking a small design, could be easily improved, supported by solid theoretical knowledge and no extra parameters needed. We reorganize the residual design in higher-order ways, which is inspired by the observation that many effective networks could be interpreted as different numerical discretizations of differential equations. The design of ResNet follows a relatively simple scheme which is Euler forward; however, the situation is getting complicated rapidly while stacking. We suppose stacked ResNet is somehow equalled to a higher order scheme, then the current way of forwarding propagation might be relatively weak compared with a typical high-order method like Runge-Kutta. We propose higher order ResNet to verify the hypothesis on widely used CV benchmarks with sufficient experiments. Stable and noticeable rises in performance are observed, convergence and robustness are benefited.
• Abstract（参考訳）: さまざまなDeep Neural Networkアーキテクチャは、コンピュータビジョンにおいて非常に重要な記録を維持している。 世界中の注目を集めている一方で、全体構造の設計には一般的なガイダンスが欠けている。 近年,数名の研究者が観測したdnn設計と数値微分方程式の関係から,残差設計と高次視点との公平な比較を行った。 我々は,dnnの設計戦略を広く活用し,小さな設計を常に積み重ねることで,理論的知識が充実し,余分なパラメータも必要とせず,容易に改善できることを示す。 我々は,多くの実効ネットワークを微分方程式の異なる数値的離散化として解釈できるという観測から着想を得た,高次手法で残差設計を再構成した。 resnet の設計は euler forward という比較的単純なスキームに従っているが、スタックの状況は急速に複雑になっている。 スタックされたresnetが何らかの高次スキームに等しくなっていると仮定すると、現在の転送の方法はrunge-kuttaのような典型的な高次手法と比較すると比較的弱い可能性がある。 そこで本研究では, cvベンチマークを十分な実験で検証するために, 高次resnetを提案する。 安定して顕著なパフォーマンスの上昇が観察され、収束と堅牢性が恩恵を受ける。

関連論文リスト

• Enhancing Convolutional Neural Networks with Higher-Order Numerical Difference Methods [6.26650196870495]
  畳み込みニューラルネットワーク(CNN)は、人間が多くの現実世界の問題を解決するのを助けることができる。 本稿では,CNNの性能向上を目的とした線形多段階法に基づく重ね合わせ手法を提案する。
  論文  参考訳（メタデータ） (2024-09-08T05:13:58Z)
• RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
  深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。 本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-17T11:06:29Z)
• GNN at the Edge: Cost-Efficient Graph Neural Network Processing over Distributed Edge Servers [24.109721494781592]
  グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。 本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。 提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-31T13:03:16Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
  畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。 残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。 我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
  論文  参考訳（メタデータ） (2022-01-28T09:18:43Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。