論文の概要: A Comprehensive Review on Deep Supervision: Theories and Applications
- arxiv url: http://arxiv.org/abs/2207.02376v1
- Date: Wed, 6 Jul 2022 00:56:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-08 02:19:17.655401
- Title: A Comprehensive Review on Deep Supervision: Theories and Applications
- Title（参考訳）: 深層監視に関する包括的レビュー:理論と応用
- Authors: Renjie Li, Xinyi Wang, Guan Huang, Wenli Yang, Kaining Zhang, Xiaotong
Gu, Son N. Tran, Saurabh Garg, Jane Alty, Quan Bai
- Abstract要約: ニューラルネットワークの隠れた層に「ディープ・インスペクション」が加えられる。
深い監視は、勾配の解消問題を緩和することで、ニューラルネットワークのパフォーマンスを改善するのに役立つ。
本稿では,異なる深層監視ネットワークの新しい分類法を提案する。
- 参考スコア（独自算出の注目度）: 31.01974455522423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep supervision, or known as 'intermediate supervision' or 'auxiliary
supervision', is to add supervision at hidden layers of a neural network. This
technique has been increasingly applied in deep neural network learning systems
for various computer vision applications recently. There is a consensus that
deep supervision helps improve neural network performance by alleviating the
gradient vanishing problem, as one of the many strengths of deep supervision.
Besides, in different computer vision applications, deep supervision can be
applied in different ways. How to make the most use of deep supervision to
improve network performance in different applications has not been thoroughly
investigated. In this paper, we provide a comprehensive in-depth review of deep
supervision in both theories and applications. We propose a new classification
of different deep supervision networks, and discuss advantages and limitations
of current deep supervision networks in computer vision applications.
- Abstract（参考訳）: ディープ・監督(Deep supervision)、または「中間的監督」または「補助的監督」とは、ニューラルネットワークの隠された層に監督を加えることである。
この手法は、近年、様々なコンピュータビジョンアプリケーションのための深層ニューラルネットワーク学習システムに適用されてきている。
深い監督の強みの1つとして、勾配の消滅問題を緩和することで、深い監視がニューラルネットワークのパフォーマンス向上に役立つという意見がある。
さらに、異なるコンピュータビジョンアプリケーションでは、深い監視を異なる方法で適用することができる。
異なるアプリケーションにおけるネットワーク性能を改善するために、ディープ・監視を最大限に活用する方法は、十分に研究されていない。
本稿では,理論と応用の両方において深い監督を包括的に検討する。
本稿では,異なる深層監視ネットワークの新たな分類を提案し,コンピュータビジョンアプリケーションにおける現在の深層監視ネットワークの利点と限界について議論する。
関連論文リスト
- Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。
根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。
最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
論文 参考訳（メタデータ） (2024-08-12T15:02:26Z) - Contrastive Deep Supervision [23.93993488930552]
本稿では,拡張型コントラスト学習を用いて中間層を監督するContrastive Deep Supervisionを提案する。
一般的な画像分類, きめ細かな画像分類, 物体検出において, 11モデルを用いた9つの人気データセットの実験結果が有効であった。
論文 参考訳（メタデータ） (2022-07-12T04:33:42Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Pseudo Supervised Monocular Depth Estimation with Teacher-Student
Network [90.20878165546361]
疑似監視機構に基づく新しい教師なし深度推定手法を提案する。
これは、教師なしおよび教師なしの単分子深度推定の利点を戦略的に統合する。
実験の結果,提案手法はKITTIベンチマークの最先端性よりも優れていた。
論文 参考訳（メタデータ） (2021-10-22T01:08:36Z) - Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。
オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
論文 参考訳（メタデータ） (2021-10-15T02:13:48Z) - Multi-channel Deep Supervision for Crowd Counting [92.39562949707815]
MDS(Multi- Channel Deep Supervision)と呼ばれる新しい監視フレームワークを提案する。
MDSは、密度マップの生成を支援するために、推定モデルのデコーダをチャネルワイズで監視する。
異なるチャネルの正確な監視情報を得るために、MDSNetはSupervisionNet(SN)と呼ばれる補助ネットワークを使用している。
論文 参考訳（メタデータ） (2021-03-17T10:33:58Z) - A Survey on Understanding, Visualizations, and Explanation of Deep
Neural Networks [0.0]
理解し、信頼し、一言で言えば、ディープモデルの決定の背後にある議論を「説明」することが最重要である。
多くのアプリケーションにおいて、人工ニューラルネットワーク(DNNを含む)はブラックボックスシステムと見なされており、内部処理動作に関する十分な手がかりを提供していない。
論文 参考訳（メタデータ） (2021-02-02T22:57:22Z) - FIS-Nets: Full-image Supervised Networks for Monocular Depth Estimation [14.454378082294852]
画像の整合性を利用する教師なしのフレームワークと、深い深度補完を行う教師なしのフレームワークを組み合わせた半教師付きアーキテクチャを提案する。
評価において,提案手法は深度推定における他の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-19T06:04:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。