論文の概要: TargetDrop: A Targeted Regularization Method for Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2010.10716v1
• Date: Wed, 21 Oct 2020 02:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-05 00:18:26.270734
• Title: TargetDrop: A Targeted Regularization Method for Convolutional Neural Networks
• Title（参考訳）: targetdrop:畳み込みニューラルネットワークのための目標正規化手法
• Authors: Hui Zhu, Xiaofang Zhao
• Abstract要約: ドロップアウト正規化はディープラーニングで広く使われているが、畳み込みニューラルネットワークでは効果が低い。 識別機能ユニットをドロップするアテンション機構を組み込んだターゲット型正規化手法TargetDropを提案する。
• 参考スコア（独自算出の注目度）: 6.014015535168499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dropout regularization has been widely used in deep learning but performs less effective for convolutional neural networks since the spatially correlated features allow dropped information to still flow through the networks. Some structured forms of dropout have been proposed to address this but prone to result in over or under regularization as features are dropped randomly. In this paper, we propose a targeted regularization method named TargetDrop which incorporates the attention mechanism to drop the discriminative feature units. Specifically, it masks out the target regions of the feature maps corresponding to the target channels. Experimental results compared with the other methods or applied for different networks demonstrate the regularization effect of our method.
• Abstract（参考訳）: ドロップアウト正規化はディープラーニングで広く使用されているが、空間的に相関した特徴により、ドロップアウト情報がネットワーク内を流れ続けることができるため、畳み込みニューラルネットワークでは効果が低い。 これに対処するためにいくつかの構造化されたドロップアウトが提案されているが、特徴がランダムにドロップされるため、オーバーあるいはアンダーの正規化が生じる傾向にある。 本稿では,識別機能ユニットをドロップするアテンション機構を組み込んだTargetDropというターゲット正規化手法を提案する。 具体的には、ターゲットチャネルに対応する特徴マップのターゲット領域をマスクアウトする。 他の手法との比較実験や異なるネットワークに適用した結果,本手法の正規化効果が示された。

関連論文リスト

• Densely Decoded Networks with Adaptive Deep Supervision for Medical Image Segmentation [19.302294715542175]
  本稿では「クラッチ」ネットワーク接続を選択的に導入し、高密度デコードネットワーク(ddn)を提案する。 ネットワークデコーダの各アップサンプリングステージにおける「クラッチ」接続により、ターゲットのローカライゼーションが向上する。 また、適応的な深層監視(ads)に基づくトレーニング戦略を提案し、入力データセットの特定の属性を利用して適応する。
  論文  参考訳（メタデータ） (2024-02-05T00:44:57Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
  関数空間における凸正規化器であり、容易に調整できる明示的な関数正規化を提案する。 提案手法の収束を理論的・実験的に解析し,より理論的に根ざした機能正規化アプローチでターゲットネットワークを置き換えることにより,サンプリング効率と性能が向上することが実証された。
  論文  参考訳（メタデータ） (2022-10-21T22:27:07Z)
• TSG: Target-Selective Gradient Backprop for Probing CNN Visual Saliency [72.9106103283475]
  我々は、畳み込みニューラルネットワークを解釈するために視覚的サリエンシ、すなわち視覚的説明について研究する。 これらの観測に触発されて、我々はTSG(Target-Selective Gradient)バックプロップと呼ばれる新しいビジュアル・サリエンシ・フレームワークを提案する。 提案したTSGはTSG-ConvとTSG-FCの2つのコンポーネントから構成され、それぞれ畳み込み層と完全連結層の勾配を補正する。
  論文  参考訳（メタデータ） (2021-10-11T12:00:20Z)
• Latent Space Regularization for Unsupervised Domain Adaptation in Semantic Segmentation [14.050836886292869]
  セマンティックセグメンテーションにおけるドメインの不一致を減らすために、機能レベルの空間形成正規化戦略を紹介します。 このような手法の有効性を自律運転環境で検証する。
  論文  参考訳（メタデータ） (2021-04-06T16:07:22Z)
• FocusedDropout for Convolutional Neural Network [6.066543113636522]
  FocusedDropoutは、ネットワークをよりターゲットに集中させる非ランダムなドロップアウト手法である。 わずかなコストでも、FocusedDropoutを採用したバッチの10%は、ベースライン上で素晴らしいパフォーマンス向上をもたらすことができます。
  論文  参考訳（メタデータ） (2021-03-29T08:47:55Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Attentional Local Contrast Networks for Infrared Small Target Detection [15.882749652217653]
  赤外線小目標検出のための新しいモデル駆動深層ネットワークを提案する。 従来の局所コントラスト測定法を、エンドツーエンドネットワークにおける深さ自在なパラメータレス非線形特徴精製層としてモジュール化します。 ネットワークアーキテクチャの各コンポーネントの有効性と効率を実証的に検証するために,ネットワーク奥行きの異なる詳細なアブレーション研究を行う。
  論文  参考訳（メタデータ） (2020-12-15T19:33:09Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization [1.3764085113103217]
  オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。 オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-21T11:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。