論文の概要: Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters

• arxiv url: http://arxiv.org/abs/2310.07361v1
• Date: Wed, 11 Oct 2023 10:21:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 23:12:23.667638
• Title: Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters
• Title（参考訳）: パラメータの雑音比に対する勾配信号による領域一般化
• Authors: Mateusz Michalkiewicz, Masoud Faraki, Xiang Yu, Manmohan Chandraker, Mahsa Baktashmotlagh
• Abstract要約: ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
• 参考スコア（独自算出の注目度）: 69.24377241408851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overfitting to the source domain is a common issue in gradient-based training of deep neural networks. To compensate for the over-parameterized models, numerous regularization techniques have been introduced such as those based on dropout. While these methods achieve significant improvements on classical benchmarks such as ImageNet, their performance diminishes with the introduction of domain shift in the test set i.e. when the unseen data comes from a significantly different distribution. In this paper, we move away from the classical approach of Bernoulli sampled dropout mask construction and propose to base the selection on gradient-signal-to-noise ratio (GSNR) of network's parameters. Specifically, at each training step, parameters with high GSNR will be discarded. Furthermore, we alleviate the burden of manually searching for the optimal dropout ratio by leveraging a meta-learning approach. We evaluate our method on standard domain generalization benchmarks and achieve competitive results on classification and face anti-spoofing problems.
• Abstract（参考訳）: ソースドメインへのオーバーフィットは、深層ニューラルネットワークの勾配ベースのトレーニングにおいて一般的な問題である。 過パラメータ化モデルを補うために、ドロップアウトに基づくような多くの正規化技術が導入されている。 これらの手法はImageNetのような古典的なベンチマークで大幅に改善されるが、テストセットにおけるドメインシフトの導入によりパフォーマンスが低下する。 本稿では,Bernoulliサンプルドロップアウトマスクの構成の古典的アプローチから脱却し,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。 具体的には、各トレーニングステップでGSNRの高いパラメータを破棄する。 さらに,メタラーニングアプローチを活用し,最適なドロップアウト率を求める作業の負担を軽減する。 提案手法を標準領域一般化ベンチマークで評価し,分類と反偽造問題に対する競合的な結果を得る。

関連論文リスト

• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• An Adaptive Cost-Sensitive Learning and Recursive Denoising Framework for Imbalanced SVM Classification [12.986535715303331]
  カテゴリー不均衡は、分類分野において最も人気があり重要な問題の一つである。 不均衡データセットに基づいてトレーニングされた感情分類モデルは、容易に信頼性の低い予測につながる。
  論文  参考訳（メタデータ） (2024-03-13T09:43:14Z)
• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• A Distributed Optimisation Framework Combining Natural Gradient with Hessian-Free for Discriminative Sequence Training [16.83036203524611]
  本稿では、ニューラルネットワークトレーニングのための自然勾配およびヘッセンフリー(NGHF)最適化フレームワークを提案する。 これは、自然勾配(ng)法とヘッセンフリー(hf)や他の二次法からの局所曲率情報を組み合わせた線形共役勾配(cg)アルゴリズムに依存している。 さまざまな音響モデルタイプのマルチジャンル放送データセットで実験が報告されています。
  論文  参考訳（メタデータ） (2021-03-12T22:18:34Z)
• On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes [55.62520135103578]
  重み付き変分推論を用いたDGP(Deep Gaussian Processs)の訓練で用いられる勾配推定は,信号-雑音比(SNR)問題の影響を受けやすいことを示す。 DGPモデルの予測性能が一貫した改善につながることを示す。
  論文  参考訳（メタデータ） (2020-11-01T14:38:02Z)
• Anomaly detection with variational quantum generative adversarial networks [0.0]
  GAN(Generative Adversarial Network)は、ターゲット分布からサンプリングする生成モデルを含む機械学習フレームワークである。 これらの問題に対処するために、変分量子古典ワッサースタインGANを導入し、このモデルを古典的な機械学習フレームワークに組み込んで異常検出を行う。 我々のモデルは、ワッサースタインGANのジェネレータをハイブリッド量子古典ニューラルネットに置き換え、古典的な判別モデルをそのまま残す。
  論文  参考訳（メタデータ） (2020-10-20T17:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。