Fugu-MT 論文翻訳(概要): Deep Augmentation: Self-Supervised Learning with Transformations in Activation Space

論文の概要: Deep Augmentation: Self-Supervised Learning with Transformations in Activation Space

arxiv url: http://arxiv.org/abs/2303.14537v2
Date: Mon, 26 Feb 2024 19:42:20 GMT
ステータス: 処理完了
システム内更新日: 2024-02-29 00:55:50.584840
Title: Deep Augmentation: Self-Supervised Learning with Transformations in Activation Space
Title（参考訳）: Deep Augmentation: 活性化空間におけるトランスフォーメーションによる自己改善型学習
Authors: Rickard Br\"uel-Gabrielsson, Tongzhou Wang, Manel Baradad, Justin Solomon
Abstract要約: 我々は、Deep Augmentationを導入し、DropoutまたはPCAを使用して暗黙のデータ拡張を行い、ニューラルネットワーク内のターゲット層を変換し、パフォーマンスと一般化を改善する。我々は、NLP、コンピュータビジョン、グラフ学習におけるコントラスト学習タスクに関する広範な実験を通して、Deep Augmentationを実証する。
参考スコア（独自算出の注目度）: 18.655316096015937
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Deep Augmentation, an approach to implicit data augmentation using dropout or PCA to transform a targeted layer within a neural network to improve performance and generalization. We demonstrate Deep Augmentation through extensive experiments on contrastive learning tasks in NLP, computer vision, and graph learning. We observe substantial performance gains with Transformers, ResNets, and Graph Neural Networks as the underlying models in contrastive learning, but observe inverse effects on the corresponding supervised problems. Our analysis suggests that Deep Augmentation alleviates co-adaption between layers, a form of "collapse." We use this observation to formulate a method for selecting which layer to target; in particular, our experimentation reveals that targeting deeper layers with Deep Augmentation outperforms augmenting the input data. The simple network- and modality-agnostic nature of this approach enables its integration into various machine learning pipelines.
Abstract（参考訳）: これは、ニューラルネットワーク内のターゲット層を変換してパフォーマンスと一般化を改善するために、ドロップアウトやpcaを用いた暗黙のデータ拡張のアプローチである。我々は、NLP、コンピュータビジョン、グラフ学習におけるコントラスト学習タスクに関する広範な実験を通じて、Deep Augmentationを実証する。コントラスト学習の基盤となるモデルとして,Transformer,ResNets,Graph Neural Networksによる性能向上を観測するが,対応する教師付き問題に対する逆効果を観察する。分析の結果,Deep Augmentationは「崩壊」の一形態である層間の共適応を緩和することが示唆された。本研究では,どの層を対象とし,どの層を対象とし,どの層を対象とするかを定式化する手法を提案する。このアプローチの単純なネットワークとモダリティに依存しない性質は、さまざまな機械学習パイプラインへの統合を可能にする。

関連論文リスト

Mechanism of feature learning in convolutional neural networks [14.612673151889615]
我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
論文参考訳（メタデータ） (2023-09-01T16:30:02Z)
Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文参考訳（メタデータ） (2023-07-20T16:00:19Z)
Regularization Through Simultaneous Learning: A Case Study on Plant Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文参考訳（メタデータ） (2023-05-22T19:44:57Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
論文参考訳（メタデータ） (2022-11-20T20:26:23Z)
Learnable Multi-level Frequency Decomposition and Hierarchical Attention Mechanism for Generalized Face Presentation Attack Detection [7.324459578044212]
顔提示攻撃検知(PAD)は多くの注目を集めており、顔認識システムを保護する上で重要な役割を果たしている。両ストリーム畳み込みニューラルネットワーク(CNN)フレームワークを提案する。ステップワイドアブレーション研究において提案したPAD法の設計を実証した。
論文参考訳（メタデータ） (2021-09-16T13:06:43Z)
Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
論文参考訳（メタデータ） (2021-08-05T10:39:39Z)
Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文参考訳（メタデータ） (2021-05-15T11:44:49Z)
FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
論文参考訳（メタデータ） (2020-12-17T08:20:09Z)
Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文参考訳（メタデータ） (2020-10-29T06:32:53Z)
Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。