Fugu-MT 論文翻訳(概要): Contrastive Deep Supervision

論文の概要: Contrastive Deep Supervision

arxiv url: http://arxiv.org/abs/2207.05306v1
Date: Tue, 12 Jul 2022 04:33:42 GMT
ステータス: 処理完了
システム内更新日: 2022-07-13 12:57:58.986119
Title: Contrastive Deep Supervision
Title（参考訳）: コントラストディープスーパービジョン
Authors: Linfeng Zhang, Xin Chen, Junbo Zhang, Runpei Dong, Kaisheng Ma
Abstract要約: 本稿では,拡張型コントラスト学習を用いて中間層を監督するContrastive Deep Supervisionを提案する。一般的な画像分類, きめ細かな画像分類, 物体検出において, 11モデルを用いた9つの人気データセットの実験結果が有効であった。
参考スコア（独自算出の注目度）: 23.93993488930552
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The success of deep learning is usually accompanied by the growth in neural network depth. However, the traditional training method only supervises the neural network at its last layer and propagates the supervision layer-by-layer, which leads to hardship in optimizing the intermediate layers. Recently, deep supervision has been proposed to add auxiliary classifiers to the intermediate layers of deep neural networks. By optimizing these auxiliary classifiers with the supervised task loss, the supervision can be applied to the shallow layers directly. However, deep supervision conflicts with the well-known observation that the shallow layers learn low-level features instead of task-biased high-level semantic features. To address this issue, this paper proposes a novel training framework named Contrastive Deep Supervision, which supervises the intermediate layers with augmentation-based contrastive learning. Experimental results on nine popular datasets with eleven models demonstrate its effects on general image classification, fine-grained image classification and object detection in supervised learning, semi-supervised learning and knowledge distillation. Codes have been released in Github.
Abstract（参考訳）: ディープラーニングの成功は通常、ニューラルネットワークの深さの成長を伴う。しかしながら、従来のトレーニング手法では、最後の層でニューラルネットワークを監督するのみであり、中間層を最適化する上で困難となる監視層を層単位で伝播させる。近年,ディープニューラルネットワークの中間層に補助的分類器を追加するための深層監視手法が提案されている。これらの補助的分類器を教師付きタスク損失で最適化することで、浅層層に直接監督を適用することができる。しかし、深い監督は、浅い層がタスクバイアスの高いハイレベルな意味的特徴ではなく低レベルな特徴を学ぶというよく知られた観察と矛盾する。そこで本稿では,中間層を強調型コントラスト学習で管理する,コントラスト深層指導という新しい学習枠組みを提案する。一般的な画像分類, きめ細かな画像分類, 物体検出, 教師付き学習, 半教師付き学習, 知識蒸留における9つの人気データセットに対する実験結果について検討した。コードはgithubで公開されている。

関連論文リスト

Neural Collapse in the Intermediate Hidden Layers of Classification Neural Networks [0.0]
(NC)は、分類ニューラルネットワークの最終的な隠蔽層におけるクラスの表現を正確に記述する。本稿では,中間層におけるNCの出現を包括的に解析する。
論文参考訳（メタデータ） (2023-08-05T01:19:38Z)
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文参考訳（メタデータ） (2023-01-03T20:57:22Z)
With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文参考訳（メタデータ） (2022-01-28T05:26:32Z)
Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文参考訳（メタデータ） (2021-10-26T17:00:16Z)
X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
論文参考訳（メタデータ） (2021-10-24T19:47:14Z)
Pseudo Supervised Monocular Depth Estimation with Teacher-Student Network [90.20878165546361]
疑似監視機構に基づく新しい教師なし深度推定手法を提案する。これは、教師なしおよび教師なしの単分子深度推定の利点を戦略的に統合する。実験の結果,提案手法はKITTIベンチマークの最先端性よりも優れていた。
論文参考訳（メタデータ） (2021-10-22T01:08:36Z)
Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
論文参考訳（メタデータ） (2021-06-17T13:24:43Z)
LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised Classification [0.0]
深層半教師付き分類の最近の進歩は、前例のない性能に達している。モデル複雑性を大幅に低減した深層半教師付き分類のための新しいフレームワークであるLaplaceNetを提案する。本モデルは,複数のベンチマークデータセットを用いて,半教師付き深層分類のための最先端手法より優れる。
論文参考訳（メタデータ） (2021-06-08T17:09:28Z)
A Layer-Wise Information Reinforcement Approach to Improve Learning in Deep Belief Networks [0.4893345190925178]
本稿では,情報強化層を層単位で検討し,特徴抽出と知識保持を改善するResidual Deep Belief Networkを提案する。 3つの公開データセットで実施した実験は、バイナリイメージ分類のタスクに関する堅牢性を示している。
論文参考訳（メタデータ） (2021-01-17T18:53:18Z)
Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
論文参考訳（メタデータ） (2020-11-02T22:26:58Z)
Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
論文参考訳（メタデータ） (2020-10-15T21:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。