論文の概要: DropCluster: A structured dropout for convolutional networks

• arxiv url: http://arxiv.org/abs/2002.02997v1
• Date: Fri, 7 Feb 2020 20:02:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 03:34:23.436662
• Title: DropCluster: A structured dropout for convolutional networks
• Title（参考訳）: dropcluster:畳み込みネットワークのための構造化ドロップアウト
• Authors: Liyan Chen, Philip Gautier, Sergul Aydore
• Abstract要約: ディープニューラルネットワークにおける正規化器としてのドロップアウトは、完全に接続された層よりも畳み込み層において効果が低い。 我々は、DropClusterと呼ばれる畳み込み層に対して、新しい構造化された正規化を導入する。 我々のアプローチは、DropBlockや他の既存の構造化されたドロップアウトモデルよりも優れたパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 0.7489179288638513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dropout as a regularizer in deep neural networks has been less effective in convolutional layers than in fully connected layers. This is due to the fact that dropout drops features randomly. When features are spatially correlated as in the case of convolutional layers, information about the dropped pixels can still propagate to the next layers via neighboring pixels. In order to address this problem, more structured forms of dropout have been proposed. A drawback of these methods is that they do not adapt to the data. In this work, we introduce a novel structured regularization for convolutional layers, which we call DropCluster. Our regularizer relies on data-driven structure. It finds clusters of correlated features in convolutional layer outputs and drops the clusters randomly at each iteration. The clusters are learned and updated during model training so that they adapt both to the data and to the model weights. Our experiments on the ResNet-50 architecture demonstrate that our approach achieves better performance than DropBlock or other existing structured dropout variants. We also demonstrate the robustness of our approach when the size of training data is limited and when there is corruption in the data at test time.
• Abstract（参考訳）: ディープニューラルネットワークのレギュレータとしてのドロップアウトは、完全連結層よりも畳み込み層では効果が低かった。 これはドロップアウトドロップがランダムに機能しているためである。 畳み込み層の場合のように特徴が空間的に相関している場合、落下した画素に関する情報は隣り合うピクセルを介して次の層に伝播する。 この問題に対処するため、より構造化されたドロップアウト形式が提案されている。 これらの手法の欠点は、データに適応しないことである。 本稿では,DropClusterと呼ばれる畳み込み層に対する新しい構造正規化を導入する。 私たちの正規化子はデータ駆動構造に依存しています。 畳み込み層出力で相関した特徴のクラスタを見つけ、各イテレーションでランダムにクラスタをドロップする。 クラスタは、モデルトレーニング中に学習および更新され、データとモデルの重み付けの両方に適応する。 resnet-50アーキテクチャの実験では、dropblockや他の既存の構造化ドロップアウト型よりも優れたパフォーマンスを実現しています。 トレーニングデータのサイズが制限されている場合や、テスト時にデータに破損がある場合も、私たちのアプローチの堅牢性を示す。

関連論文リスト

• R-Block: Regularized Block of Dropout for convolutional networks [0.0]
  正規化手法としてのドロップアウトは、完全に接続された層で広く使われているが、畳み込み層では効果が低い。 本稿では,畳み込み層正規化のための相互学習学習戦略,すなわちR-Blockを適用した。 R-Blockは他の構造化されたドロップアウトモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-07-27T18:53:14Z)
• Hard Regularization to Prevent Deep Online Clustering Collapse without Data Augmentation [65.268245109828]
  オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。 オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。 本稿では,データ拡張を必要としない手法を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:23:26Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Revisiting Structured Dropout [11.011268090482577]
  textbfemphProbDropBlockは、正規化されたフィーチャーサリエンス値によって与えられる確率で、特徴マップから連続したブロックをドロップする。 単純なスケジューリング戦略では,ベースラインよりもモデル性能が一貫して向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-05T21:26:57Z)
• Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
  微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。 テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。 我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
  論文  参考訳（メタデータ） (2022-05-24T23:43:02Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• Robustness to Missing Features using Hierarchical Clustering with Split Neural Networks [39.29536042476913]
  階層的クラスタリングを用いて類似の入力特徴をクラスタリングする,単純かつ効果的な手法を提案する。 本手法を一連のベンチマークデータセット上で評価し,単純な計算手法を用いても有望な改善を示す。
  論文  参考訳（メタデータ） (2020-11-19T00:35:08Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)
• Online Deep Clustering for Unsupervised Representation Learning [108.33534231219464]
  オンラインディープクラスタリング(ODC)は、交互にではなく、クラスタリングとネットワーク更新を同時に実行する。 我々は,2つの動的メモリモジュール,すなわち,サンプルラベルと特徴を格納するサンプルメモリと,セントロイド進化のためのセントロイドメモリを設計,維持する。 このように、ラベルとネットワークは交互にではなく肩から肩へと進化する。
  論文  参考訳（メタデータ） (2020-06-18T16:15:46Z)
• Reusing Trained Layers of Convolutional Neural Networks to Shorten Hyperparameters Tuning Time [1.160208922584163]
  本稿では,この過程を短縮するために,異なるトレーニングで隠蔽層(畳み込み層)の重みを再利用する提案について述べる。 実験では、再使用時のトレーニング時間と、畳み込みレイヤの再使用時のバリデーション損失を比較した。 彼らはこの戦略がトレーニング時間を短縮し、その結果のニューラルネットワークの精度も向上することを確認した。
  論文  参考訳（メタデータ） (2020-06-16T11:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。