論文の概要: Deep Augmentation: Enhancing Self-Supervised Learning through Transformations in Higher Activation Space

• arxiv url: http://arxiv.org/abs/2303.14537v1
• Date: Sat, 25 Mar 2023 19:03:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 19:05:53.355129
• Title: Deep Augmentation: Enhancing Self-Supervised Learning through Transformations in Higher Activation Space
• Title（参考訳）: Deep Augmentation: より高い活動空間における変革による自己指導型学習の促進
• Authors: Rickard Br\"uel-Gabrielsson, Tongzhou Wang, Manel Baradad, Justin Solomon
• Abstract要約: ニューラルネットワーク内のターゲット層を動的に変換するために,ドロップアウトを用いたデータ拡張のアプローチであるDeep Augmentationを導入する。 コンピュータビジョンとNLP領域における対照的な学習課題に関する広範な実験を通じて、Deep Augmentationの有効性を実証する。
• 参考スコア（独自算出の注目度）: 33.081323136719156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Deep Augmentation, an approach to data augmentation using dropout to dynamically transform a targeted layer within a neural network, with the option to use the stop-gradient operation, offering significant improvements in model performance and generalization. We demonstrate the efficacy of Deep Augmentation through extensive experiments on contrastive learning tasks in computer vision and NLP domains, where we observe substantial performance gains with ResNets and Transformers as the underlying models. Our experimentation reveals that targeting deeper layers with Deep Augmentation outperforms augmenting the input data, and the simple network- and data-agnostic nature of this approach enables its seamless integration into computer vision and NLP pipelines.
• Abstract（参考訳）: これは、ニューラルネットワーク内のターゲット層を動的に変換するためにドロップアウトを使用するデータ拡張へのアプローチであり、ストップグレード操作を使用するオプションを提供し、モデル性能と一般化を大幅に改善する。 コンピュータビジョンとnlpドメインにおけるコントラスト学習タスクに関する広範囲な実験を通じて、深い強化の効果を実証し、基礎となるモデルとしてresnetとtransformerによる実質的なパフォーマンス向上を観察した。 実験の結果,深層層を深く拡張することで入力データを強化し,ネットワークやデータに依存しないシンプルな手法により,コンピュータビジョンやnlpパイプラインへのシームレスな統合が可能となった。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Mechanism of feature learning in convolutional neural networks [14.612673151889615]
  我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。 我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。 次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
  論文  参考訳（メタデータ） (2023-09-01T16:30:02Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Regularization Through Simultaneous Learning: A Case Study on Plant Classification [0.0]
  本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。 我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。 興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-22T19:44:57Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
  ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。 目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。 また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-20T20:26:23Z)
• Learnable Multi-level Frequency Decomposition and Hierarchical Attention Mechanism for Generalized Face Presentation Attack Detection [7.324459578044212]
  顔提示攻撃検知(PAD)は多くの注目を集めており、顔認識システムを保護する上で重要な役割を果たしている。 両ストリーム畳み込みニューラルネットワーク(CNN)フレームワークを提案する。 ステップワイドアブレーション研究において提案したPAD法の設計を実証した。
  論文  参考訳（メタデータ） (2021-09-16T13:06:43Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)
• FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
  FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。 相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。 我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
  論文  参考訳（メタデータ） (2020-12-17T08:20:09Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。