論文の概要: Optimal Layer Selection for Latent Data Augmentation

• arxiv url: http://arxiv.org/abs/2408.13426v1
• Date: Sat, 24 Aug 2024 01:38:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 19:39:20.365275
• Title: Optimal Layer Selection for Latent Data Augmentation
• Title（参考訳）: 遅延データ拡張のための最適層選択
• Authors: Tomoumi Takase, Ryo Karakida,
• Abstract要約: 各種実験環境におけるデータ拡張(DA)の適用に適した層の動向について検討した。 DAに適した層を自動的に調整するために,適応層選択法(AdaLASE)を提案する。 提案したAdaLASE法は, 期待値に変化し, 総合試験精度が向上した。
• 参考スコア（独自算出の注目度）: 7.041056265629815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While data augmentation (DA) is generally applied to input data, several studies have reported that applying DA to hidden layers in neural networks, i.e., feature augmentation, can improve performance. However, in previous studies, the layers to which DA is applied have not been carefully considered, often being applied randomly and uniformly or only to a specific layer, leaving room for arbitrariness. Thus, in this study, we investigated the trends of suitable layers for applying DA in various experimental configurations, e.g., training from scratch, transfer learning, various dataset settings, and different models. In addition, to adjust the suitable layers for DA automatically, we propose the adaptive layer selection (AdaLASE) method, which updates the ratio to perform DA for each layer based on the gradient descent method during training. The experimental results obtained on several image classification datasets indicate that the proposed AdaLASE method altered the ratio as expected and achieved high overall test accuracy.
• Abstract（参考訳）: データ拡張(DA)は一般的に入力データに適用されるが、いくつかの研究では、ニューラルネットワークの隠れ層にDAを適用することによりパフォーマンスが向上する、と報告されている。 しかし、従来の研究では、DAが適用される層は慎重に検討されておらず、しばしばランダムに均一に、あるいは特定の層にのみ適用され、仲裁の余地は残されている。 そこで本研究では,様々な実験構成,例えばスクラッチからのトレーニング,移動学習,各種データセット設定,異なるモデルにおいて,DAの適用に適したレイヤの傾向について検討した。 さらに,DAに適したレイヤを自動的に調整するために,トレーニング中の勾配降下法に基づいて各レイヤに対してDAを実行するように更新する適応層選択法(AdaLASE)を提案する。 いくつかの画像分類データセットで得られた実験結果から,提案手法が期待どおりに変化し,総合的な試験精度が向上したことが示唆された。

関連論文リスト

• Universal Pooling Method of Multi-layer Features from Pretrained Models for Speaker Verification [7.005068872406135]
  大規模事前学習ネットワークを活用した自動話者検証(ASV)研究の最近の進歩が達成されている。 ASVのための事前学習モデルの多層特性を利用するための新しい手法を提案する。 提案した層間処理が,事前学習モデルを利用する利点の最大化にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-09-12T05:55:32Z)
• Dynamic Decoupling of Placid Terminal Attractor-based Gradient Descent Algorithm [56.06235614890066]
  勾配降下(GD)と勾配降下(SGD)は多くのアプリケーションドメインで広く使われている。 本稿では, 勾配流の異なる段階における終端アトラクタに基づくGDのダイナミクスを慎重に解析する。
  論文  参考訳（メタデータ） (2024-09-10T14:15:56Z)
• Exploring Selective Layer Fine-Tuning in Federated Learning [48.470385357429215]
  フェデレートラーニング(FL)は,分散データを用いた基礎モデルの微調整のための,有望なパラダイムとして登場した。 FLにおける選択的層微調整について検討し、クライアントがローカルデータやリソースに応じて選択した層を調整できるフレキシブルなアプローチを強調した。
  論文  参考訳（メタデータ） (2024-08-28T07:48:39Z)
• Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
  非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。 実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
  論文  参考訳（メタデータ） (2024-06-27T04:00:15Z)
• Variational Stochastic Gradient Descent for Deep Neural Networks [16.96187187108041]
  現在の最先端は、Adamのような適応的勾配に基づく最適化手法である。 ここでは,2つのアプローチを組み合わせることを提案し,その結果,VSGD(Variational Gradient Descent)を導出する。 我々は、VSGD法がAdamのような他の適応勾配ベースとどのように関係しているかを示す。
  論文  参考訳（メタデータ） (2024-04-09T18:02:01Z)
• PALM: Pushing Adaptive Learning Rate Mechanisms for Continual Test-Time Adaptation [6.181548939188321]
  動的環境における実世界の視覚モデルは、領域分布の急激なシフトに直面し、認識性能が低下する。 本研究では,これらの変化領域に事前学習した音源識別モデルを調整するために,CTTA(Continuous Test-Time Adaptation)を提案する。 我々は, CIFAR-10C, CIFAR-100C, ImageNet-Cで画像分類実験を行い, 従来の手法に比べて優れた有効性を示した。
  論文  参考訳（メタデータ） (2024-03-15T19:35:10Z)
• Spanning Training Progress: Temporal Dual-Depth Scoring (TDDS) for Enhanced Dataset Pruning [50.809769498312434]
  我々は、時間的デュアルディープス・スコーリング(TDDS)と呼ばれる新しいデータセット・プルーニング手法を提案する。 本手法は,10%のトレーニングデータで54.51%の精度を達成し,ランダム選択を7.83%以上,他の比較手法を12.69%以上上回る結果を得た。
  論文  参考訳（メタデータ） (2023-11-22T03:45:30Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• DLTTA: Dynamic Learning Rate for Test-time Adaptation on Cross-domain Medical Images [56.72015587067494]
  DLTTAと呼ばれるテスト時間適応のための新しい動的学習率調整法を提案する。 本手法は,現在最先端のテスト時間適応法よりも一貫した性能向上を図り,有効かつ高速なテスト時間適応を実現する。
  論文  参考訳（メタデータ） (2022-05-27T02:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。