論文の概要: DropCluster: A structured dropout for convolutional networks

• arxiv url: http://arxiv.org/abs/2002.02997v2
• Date: Tue, 03 Jun 2025 22:33:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:13.728376
• Title: DropCluster: A structured dropout for convolutional networks
• Title（参考訳）: DropCluster: 畳み込みネットワークのための構造化されたドロップアウト
• Authors: Liyan Chen, Philippos Mordohai, Sergul Aydore,
• Abstract要約: ディープニューラルネットワークにおける過剰適合を防ぐための共通正規化器としてのドロップアウトは、完全に接続された層よりも畳み込み層において効果が低い。 これは、ローカル構造を考慮せずに、ドロップアウトドロップがランダムに特徴付けられるためである。 本研究では,畳み込み層の出力構造を活用し,DropClusterという新しい構造正規化手法を導入する。
• 参考スコア（独自算出の注目度）: 5.995452890465241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dropout as a common regularizer to prevent overfitting in deep neural networks has been less effective in convolutional layers than in fully connected layers. This is because Dropout drops features randomly, without considering local structure. When features are spatially correlated, as in the case of convolutional layers, information from the dropped features can still propagate to subsequent layers via neighboring features. To address this problem, structured forms of Dropout have been proposed. A drawback of these methods is that they do not adapt to the data. In this work, we leverage the structure in the outputs of convolutional layers and introduce a novel structured regularization method named DropCluster. Our approach clusters features in convolutional layers, and drops the resulting clusters randomly during training iterations. Experiments on CIFAR-10/100, SVHN, and APPA-REAL datasets demonstrate that our approach is effective and controls overfitting better than other approaches.
• Abstract（参考訳）: ディープニューラルネットワークにおける過剰適合を防ぐための共通正規化器としてのドロップアウトは、完全に接続された層よりも畳み込み層において効果が低い。 これは、ローカル構造を考慮せずに、ドロップアウトドロップがランダムに特徴付けられるためである。 畳み込み層の場合のように、特徴が空間的に相関している場合、ドロップされた特徴から得られる情報は、隣り合う特徴を介して、後続の層に伝播する。 この問題に対処するため、Dropoutの構造形式が提案されている。 これらの手法の欠点は、データに適応しないことである。 本研究では,畳み込み層の出力構造を活用し,DropClusterという新しい構造正規化手法を導入する。 私たちのアプローチでは、畳み込み層にクラスタを配置し、トレーニングイテレーション中にランダムにクラスタを落とします。 CIFAR-10/100、SVHN、APPA-REALデータセットに関する実験は、我々のアプローチが有効であることを示し、他のアプローチよりも過度に適合することを制御している。

関連論文リスト

• Dynamic DropConnect: Enhancing Neural Network Robustness through Adaptive Edge Dropping Strategies [2.07180164747172]
  DropoutとDropConnectは、トレーニング中にニューラルネットワーク層内のニューロンやエッジをランダムに非活性化するために一貫したドロップレートを適用する、よく知られたテクニックである。 本稿では,レイヤ内の各エッジに動的降下率を割り当てる手法を提案する。
  論文  参考訳（メタデータ） (2025-02-27T10:17:02Z)
• R-Block: Regularized Block of Dropout for convolutional networks [0.0]
  正規化手法としてのドロップアウトは、完全に接続された層で広く使われているが、畳み込み層では効果が低い。 本稿では,畳み込み層正規化のための相互学習学習戦略,すなわちR-Blockを適用した。 R-Blockは他の構造化されたドロップアウトモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-07-27T18:53:14Z)
• Hard Regularization to Prevent Deep Online Clustering Collapse without Data Augmentation [65.268245109828]
  オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。 オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。 本稿では,データ拡張を必要としない手法を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:23:26Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Revisiting Structured Dropout [11.011268090482577]
  textbfemphProbDropBlockは、正規化されたフィーチャーサリエンス値によって与えられる確率で、特徴マップから連続したブロックをドロップする。 単純なスケジューリング戦略では,ベースラインよりもモデル性能が一貫して向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-05T21:26:57Z)
• Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
  微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。 テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。 我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
  論文  参考訳（メタデータ） (2022-05-24T23:43:02Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• Robustness to Missing Features using Hierarchical Clustering with Split Neural Networks [39.29536042476913]
  階層的クラスタリングを用いて類似の入力特徴をクラスタリングする,単純かつ効果的な手法を提案する。 本手法を一連のベンチマークデータセット上で評価し,単純な計算手法を用いても有望な改善を示す。
  論文  参考訳（メタデータ） (2020-11-19T00:35:08Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)
• Online Deep Clustering for Unsupervised Representation Learning [108.33534231219464]
  オンラインディープクラスタリング(ODC)は、交互にではなく、クラスタリングとネットワーク更新を同時に実行する。 我々は,2つの動的メモリモジュール,すなわち,サンプルラベルと特徴を格納するサンプルメモリと,セントロイド進化のためのセントロイドメモリを設計,維持する。 このように、ラベルとネットワークは交互にではなく肩から肩へと進化する。
  論文  参考訳（メタデータ） (2020-06-18T16:15:46Z)
• Reusing Trained Layers of Convolutional Neural Networks to Shorten Hyperparameters Tuning Time [1.160208922584163]
  本稿では,この過程を短縮するために,異なるトレーニングで隠蔽層(畳み込み層)の重みを再利用する提案について述べる。 実験では、再使用時のトレーニング時間と、畳み込みレイヤの再使用時のバリデーション損失を比較した。 彼らはこの戦略がトレーニング時間を短縮し、その結果のニューラルネットワークの精度も向上することを確認した。
  論文  参考訳（メタデータ） (2020-06-16T11:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。