論文の概要: Deep Augmentation: Dropout as Augmentation for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2303.14537v4
• Date: Wed, 05 Mar 2025 20:30:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:56:48.891554
• Title: Deep Augmentation: Dropout as Augmentation for Self-Supervised Learning
• Title（参考訳）: Deep Augmentation: 自己指導型学習のためのAugmentationとしてのDropout
• Authors: Rickard Brüel-Gabrielsson, Tongzhou Wang, Manel Baradad, Justin Solomon,
• Abstract要約: Deep Augmentationは、ニューラルネットワークのターゲット層にドロップアウトまたはPCA変換を適用する方法である。 レイヤ間で均一にドロップアウトを適用することで、パフォーマンスが一貫して向上しないことを示す。 また, 停止段階の操作は, 拡張として効果的にドロップアウト機能を確保するために重要であることも示している。
• 参考スコア（独自算出の注目度）: 19.495587566796278
• License:
• Abstract: Despite dropout's ubiquity in machine learning, its effectiveness as a form of data augmentation remains under-explored. We address two key questions: (i) When is dropout effective as an augmentation strategy? (ii) Is dropout uniquely effective under these conditions? To explore these questions, we propose Deep Augmentation, a network- and modality-agnostic method that applies dropout or PCA transformations to targeted layers in neural networks. Through extensive experiments on contrastive learning tasks in NLP, computer vision, and graph learning, we find that uniformly applying dropout across layers does not consistently improve performance. Instead, dropout proves most beneficial in deeper layers and can be matched by alternative augmentations (e.g., PCA). We also show that a stop-gradient operation is critical for ensuring dropout functions effectively as an augmentation, and that performance trends invert when moving from contrastive tasks to supervised tasks. Our analysis suggests that Deep Augmentation helps mitigate inter-layer co-adaptation -- a notable issue in self-supervised learning due to the absence of labeled data. Drawing on these insights, we outline a procedure for selecting the optimal augmentation layer and demonstrate that Deep Augmentation can outperform traditional input-level augmentations. This simple yet powerful approach can be seamlessly integrated into a wide range of architectures and modalities, yielding notable gains in both performance and generalization.
• Abstract（参考訳）: 機械学習におけるドロップアウトのユビキタスさにもかかわらず、データ拡張の形式としてのその有効性は未解明のままである。 私たちは2つの重要な疑問に対処します。 一 増資戦略としてドロップアウトが有効であるとき。 (二)これらの条件下でのドロップアウトは、一意に効果があるか。 これらの問題を探索するために、ニューラルネットワークのターゲット層にドロップアウトやPCA変換を適用する、ネットワークおよびモダリティに依存しないDeep Augmentationを提案する。 NLP、コンピュータビジョン、グラフ学習における対照的な学習タスクに関する広範な実験を通じて、各層に一様にドロップアウトを適用することで、パフォーマンスが一貫して向上しないことがわかった。 代わりに、ドロップアウトはより深いレイヤで最も有益であることを証明し、代替の拡張(PCAなど)でマッチさせることができる。 また、停止段階の操作は、拡張として効果的にドロップアウト機能を確保するために重要であり、対照的なタスクから教師付きタスクに移行する際の性能傾向が逆転することを示す。 我々の分析は、ディープ・アジュメンテーションが層間コ・アダプテーションの緩和に役立つことを示唆している。 これらの知見に基づいて、最適な拡張層を選択する手順を概説し、Deep Augmentationが従来の入力レベルの拡張よりも優れていることを示す。 この単純で強力なアプローチは、幅広いアーキテクチャやモダリティにシームレスに統合することができ、性能と一般化の両方において顕著な利益をもたらす。

関連論文リスト

• The Computational Advantage of Depth: Learning High-Dimensional Hierarchical Functions with Gradient Descent [28.999394988111106]
  潜在部分空間次元の階層構造を組み込んだ対象関数のクラスを導入する。 我々の主定理は、勾配降下による特徴学習が有効次元を減少させることを示している。 これらの知見は、ディープネットワークを用いた階層構造学習における深度の重要な役割について、さらに定量的に研究する道を開く。
  論文  参考訳（メタデータ） (2025-02-19T18:58:28Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Mechanism of feature learning in convolutional neural networks [14.612673151889615]
  我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。 我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。 次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
  論文  参考訳（メタデータ） (2023-09-01T16:30:02Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Regularization Through Simultaneous Learning: A Case Study on Plant Classification [0.0]
  本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。 我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。 興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-22T19:44:57Z)
• Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
  ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。 目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。 また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-20T20:26:23Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)
• Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
  レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。 レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。 本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
  論文  参考訳（メタデータ） (2020-10-15T21:51:43Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。