Fugu-MT 論文翻訳(概要): Deep Augmentation: Self-Supervised Learning with Transformations in Activation Space

論文の概要: Deep Augmentation: Self-Supervised Learning with Transformations in Activation Space

arxiv url: http://arxiv.org/abs/2303.14537v3
Date: Mon, 11 Nov 2024 15:49:16 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-12 14:06:20.559288
Title: Deep Augmentation: Self-Supervised Learning with Transformations in Activation Space
Title（参考訳）: Deep Augmentation: 活性化空間におけるトランスフォーメーションによる自己改善型学習
Authors: Rickard Brüel-Gabrielsson, Tongzhou Wang, Manel Baradad, Justin Solomon,
Abstract要約: 我々は、Deep Augmentationを導入し、DropoutまたはPCAを使用して暗黙のデータ拡張を行い、ニューラルネットワーク内のターゲット層を変換し、パフォーマンスと一般化を改善する。我々は、NLP、コンピュータビジョン、グラフ学習におけるコントラスト学習タスクに関する広範な実験を通して、Deep Augmentationを実証する。
参考スコア（独自算出の注目度）: 19.495587566796278
License:
Abstract: We introduce Deep Augmentation, an approach to implicit data augmentation using dropout or PCA to transform a targeted layer within a neural network to improve performance and generalization. We demonstrate Deep Augmentation through extensive experiments on contrastive learning tasks in NLP, computer vision, and graph learning. We observe substantial performance gains with Transformers, ResNets, and Graph Neural Networks as the underlying models in contrastive learning, but observe inverse effects on the corresponding supervised problems. Our analysis suggests that Deep Augmentation alleviates co-adaptation between layers, a problem exhibited by self-supervised learning where ground truth labels are not available. We use this observation to formulate a method for selecting which layer to target; in particular, our experimentation reveals that targeting deeper layers with Deep Augmentation outperforms augmenting the input data. The simple network- and modality-agnostic nature of this approach enables its integration into various machine learning pipelines.
Abstract（参考訳）: 我々は、Deep Augmentationを導入し、DropoutまたはPCAを使用して暗黙のデータ拡張を行い、ニューラルネットワーク内のターゲット層を変換し、パフォーマンスと一般化を改善する。我々は、NLP、コンピュータビジョン、グラフ学習におけるコントラスト学習タスクに関する広範な実験を通して、Deep Augmentationを実証する。コントラスト学習の基盤となるモデルとして,Transformer,ResNets,Graph Neural Networksによる性能向上を観測するが,対応する教師付き問題に対する逆効果を観察する。分析の結果,Deep Augmentationは階層間の協調適応を軽減することが示唆された。本研究では,どの層を対象とし,どの層を対象とし,どの層を対象とするかを定式化する手法を提案する。このアプローチの単純なネットワークとモダリティに依存しない性質は、さまざまな機械学習パイプラインへの統合を可能にする。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
Mechanism of feature learning in convolutional neural networks [14.612673151889615]
我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
論文参考訳（メタデータ） (2023-09-01T16:30:02Z)
Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文参考訳（メタデータ） (2023-07-20T16:00:19Z)
Regularization Through Simultaneous Learning: A Case Study on Plant Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文参考訳（メタデータ） (2023-05-22T19:44:57Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
論文参考訳（メタデータ） (2022-11-20T20:26:23Z)
Learnable Multi-level Frequency Decomposition and Hierarchical Attention Mechanism for Generalized Face Presentation Attack Detection [7.324459578044212]
顔提示攻撃検知(PAD)は多くの注目を集めており、顔認識システムを保護する上で重要な役割を果たしている。両ストリーム畳み込みニューラルネットワーク(CNN)フレームワークを提案する。ステップワイドアブレーション研究において提案したPAD法の設計を実証した。
論文参考訳（メタデータ） (2021-09-16T13:06:43Z)
Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
論文参考訳（メタデータ） (2021-08-05T10:39:39Z)
Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文参考訳（メタデータ） (2021-05-15T11:44:49Z)
FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
論文参考訳（メタデータ） (2020-12-17T08:20:09Z)
Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文参考訳（メタデータ） (2020-10-29T06:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。