論文の概要: Development of Skip Connection in Deep Neural Networks for Computer Vision and Medical Image Analysis: A Survey
- arxiv url: http://arxiv.org/abs/2405.01725v1
- Date: Thu, 2 May 2024 20:43:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 14:24:53.219839
- Title: Development of Skip Connection in Deep Neural Networks for Computer Vision and Medical Image Analysis: A Survey
- Title（参考訳）: コンピュータビジョンと医用画像解析のためのディープニューラルネットワークにおけるスキップ接続の開発:サーベイ
- Authors: Guoping Xu, Xiaxia Wang, Xinglong Wu, Xuesong Leng, Yongchao Xu,
- Abstract要約: スキップ接続はディープニューラルネットワークのアーキテクチャにおいて重要な役割を担っている。
このサーベイは、ディープニューラルネットワークにおけるスキップ接続の開発に関する包括的な概要と展望を提供する。
コンピュータビジョンにおけるスキップ接続を利用したセミナー論文、ソースコード、モデル、データセットを要約する。
- 参考スコア（独自算出の注目度）: 6.2299272077865675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has made significant progress in computer vision, specifically in image classification, object detection, and semantic segmentation. The skip connection has played an essential role in the architecture of deep neural networks,enabling easier optimization through residual learning during the training stage and improving accuracy during testing. Many neural networks have inherited the idea of residual learning with skip connections for various tasks, and it has been the standard choice for designing neural networks. This survey provides a comprehensive summary and outlook on the development of skip connections in deep neural networks. The short history of skip connections is outlined, and the development of residual learning in deep neural networks is surveyed. The effectiveness of skip connections in the training and testing stages is summarized, and future directions for using skip connections in residual learning are discussed. Finally, we summarize seminal papers, source code, models, and datasets that utilize skip connections in computer vision, including image classification, object detection, semantic segmentation, and image reconstruction. We hope this survey could inspire peer researchers in the community to develop further skip connections in various forms and tasks and the theory of residual learning in deep neural networks. The project page can be found at https://github.com/apple1986/Residual_Learning_For_Images
- Abstract（参考訳）: ディープラーニングはコンピュータビジョン、特に画像分類、オブジェクト検出、セマンティックセグメンテーションにおいて大きな進歩を遂げた。
スキップ接続はディープニューラルネットワークのアーキテクチャにおいて重要な役割を担い、トレーニング段階での残留学習による最適化を容易にし、テスト中の精度を向上させる。
多くのニューラルネットワークは、様々なタスクのスキップ接続で残留学習というアイデアを継承しており、ニューラルネットワークを設計するための標準選択となっている。
このサーベイは、ディープニューラルネットワークにおけるスキップ接続の開発に関する包括的な概要と展望を提供する。
スキップ接続の短い歴史を概説し、ディープニューラルネットワークにおける残留学習の開発について概説する。
トレーニングおよびテスト段階におけるスキップ接続の有効性を要約し、残留学習におけるスキップ接続の利用に向けた今後の方向性について述べる。
最後に、画像分類、オブジェクト検出、セマンティックセグメンテーション、画像再構成を含むコンピュータビジョンにおけるスキップ接続を利用したセミナー論文、ソースコード、モデル、データセットを要約する。
この調査によって、コミュニティの仲間の研究者が、様々な形態やタスクにおける接続をスキップし、深層ニューラルネットワークにおける残留学習の理論を発展させられることを期待しています。
プロジェクトページはhttps://github.com/apple 1986/Residual_Learning_For_Imagesにある。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Understanding Vector-Valued Neural Networks and Their Relationship with Real and Hypercomplex-Valued Neural Networks [0.4895118383237099]
本稿では,ベクトル値ニューラルネットワーク(V-nets)の広範なフレームワークを提案する。
我々は、超複素数値ニューラルネットワークを含むV-netが、現在のディープラーニングライブラリにおいて、実数値ネットワークとしてどのように実装できるかを示す。
論文 参考訳（メタデータ） (2023-09-14T13:48:16Z) - Predictive Coding: Towards a Future of Deep Learning beyond
Backpropagation? [41.58529335439799]
ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。
最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。
等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-02-18T22:57:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A Few-shot Learning Graph Multi-Trajectory Evolution Network for
Forecasting Multimodal Baby Connectivity Development from a Baseline
Timepoint [53.73316520733503]
本稿では,教師-学生パラダイムを取り入れたグラフ多目的進化ネットワーク(GmTE-Net)を提案する。
これは、脳グラフ多軌道成長予測に適した最初の教師学生アーキテクチャである。
論文 参考訳（メタデータ） (2021-10-06T08:26:57Z) - Training Spiking Neural Networks Using Lessons From Deep Learning [28.827506468167652]
シナプスとニューロンの内部構造は、ディープラーニングの未来を垣間見ることができます。
いくつかのアイデアはニューロモルフィックエンジニアリングコミュニティでよく受け入れられ、一般的に使われているが、他のアイデアはここで初めて提示または正当化されている。
PythonパッケージであるsnnTorchを使って、この論文を補完する一連のインタラクティブチュートリアルも利用可能である。
論文 参考訳（メタデータ） (2021-09-27T09:28:04Z) - Deep Spiking Convolutional Neural Network for Single Object Localization
Based On Deep Continuous Local Learning [0.0]
グレースケール画像における単一物体の局所化のための深部畳み込みスパイクニューラルネットワークを提案する。
Oxford-IIIT-Petで報告された結果は、教師付き学習アプローチによるスパイクニューラルネットワークの活用を検証する。
論文 参考訳（メタデータ） (2021-05-12T12:02:05Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural
Networks [3.7277730514654555]
決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。
同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
論文 参考訳（メタデータ） (2020-02-11T11:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。