論文の概要: Adaptive Random Feature Regularization on Fine-tuning Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2403.10097v1
• Date: Fri, 15 Mar 2024 08:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 17:59:52.067982
• Title: Adaptive Random Feature Regularization on Fine-tuning Deep Neural Networks
• Title（参考訳）: 微調整深層ニューラルネットワークにおける適応ランダム特徴正規化
• Authors: Shin'ya Yamaguchi, Sekitoshi Kanai, Kazuki Adachi, Daiki Chijiwa,
• Abstract要約: 適応ランダム特徴正規化(AdaRand)と呼ばれる単純な手法を提案する。 AdaRandは、訓練モデルの特徴抽出器が、補助的なソース情報や適切な計算コストを伴わずに、下流の分類タスクのための特徴ベクトルの分布を適応的に変更するのに役立つ。 実験の結果、AdaRandは他の微調整正規化よりも優れており、補助的な情報源情報と重い計算コストが要求されることがわかった。
• 参考スコア（独自算出の注目度）: 12.992733141210158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While fine-tuning is a de facto standard method for training deep neural networks, it still suffers from overfitting when using small target datasets. Previous methods improve fine-tuning performance by maintaining knowledge of the source datasets or introducing regularization terms such as contrastive loss. However, these methods require auxiliary source information (e.g., source labels or datasets) or heavy additional computations. In this paper, we propose a simple method called adaptive random feature regularization (AdaRand). AdaRand helps the feature extractors of training models to adaptively change the distribution of feature vectors for downstream classification tasks without auxiliary source information and with reasonable computation costs. To this end, AdaRand minimizes the gap between feature vectors and random reference vectors that are sampled from class conditional Gaussian distributions. Furthermore, AdaRand dynamically updates the conditional distribution to follow the currently updated feature extractors and balance the distance between classes in feature spaces. Our experiments show that AdaRand outperforms the other fine-tuning regularization, which requires auxiliary source information and heavy computation costs.
• Abstract（参考訳）: ファインチューニングはディープニューラルネットワークをトレーニングするデファクトスタンダードな方法だが、小さなターゲットデータセットを使用するとオーバーフィッティングに悩まされる。 従来の手法では、ソースデータセットの知識を維持したり、対照的な損失などの正規化用語を導入することにより、微調整性能を向上させる。 しかし、これらの方法は補助的なソース情報(例えば、ソースラベルやデータセット)や重い追加計算を必要とする。 本稿では,適応的ランダム特徴正規化(AdaRand)と呼ばれる簡単な手法を提案する。 AdaRandは、訓練モデルの特徴抽出器が、補助的なソース情報や適切な計算コストを伴わずに、下流の分類タスクのための特徴ベクトルの分布を適応的に変更するのに役立つ。 この目的のために、AdaRandは、クラス条件ガウス分布からサンプリングされる特徴ベクトルとランダム参照ベクトルの間のギャップを最小化する。 さらに、AdaRandは条件分布を動的に更新し、現在更新されている特徴抽出器に従い、特徴空間内のクラス間の距離をバランスさせる。 実験の結果、AdaRandは他の微調整正規化よりも優れており、補助的な情報源情報と重い計算コストが要求されることがわかった。

関連論文リスト

• Informative regularization for a multi-layer perceptron RR Lyrae classifier under data shift [3.303002683812084]
  本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。 提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
  論文  参考訳（メタデータ） (2023-03-12T02:49:19Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Open-Sampling: Exploring Out-of-Distribution data for Re-balancing Long-tailed datasets [24.551465814633325]
  深層ニューラルネットワークは通常、トレーニングデータセットが極端なクラス不均衡に苦しむ場合、パフォーマンスが良くない。 近年の研究では、半教師付き方式でアウト・オブ・ディストリビューションデータによる直接トレーニングが一般化性能を損なうことが報告されている。 そこで我々は,オープンセットノイズラベルを用いて学習データセットのクラス前のバランスを再調整する,オープンサンプリングと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-17T14:29:52Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)
• Source-free Domain Adaptation via Distributional Alignment by Matching Batch Normalization Statistics [85.75352990739154]
  ソースフリー設定のための新しいドメイン適応手法を提案する。 未観測のソースデータの分布を近似するために,事前学習モデルに格納されたバッチ正規化統計を用いた。 本手法は最先端のドメイン適応手法で競合性能を実現する。
  論文  参考訳（メタデータ） (2021-01-19T14:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。