論文の概要: AdaFlood: Adaptive Flood Regularization

• arxiv url: http://arxiv.org/abs/2311.02891v1
• Date: Mon, 6 Nov 2023 05:50:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 15:11:51.161371
• Title: AdaFlood: Adaptive Flood Regularization
• Title（参考訳）: AdaFlood: 適応的なFlood正規化
• Authors: Wonho Bae, Yi Ren, Mohamad Osama Ahmed, Frederick Tung, Danica J. Sutherland, Gabriel L. Oliveira
• Abstract要約: AdaFloodは,サンプルの難易度に応じて,各トレーニングサンプルの浸水レベルを適応する新しいフラッシャ正規化手法である。 4つの多様な入力モダリティをカバーするデータセットの実験は、データドメインとノイズレベルにわたるAdaFloodの汎用性を示している。
• 参考スコア（独自算出の注目度）: 27.71282216599695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although neural networks are conventionally optimized towards zero training loss, it has been recently learned that targeting a non-zero training loss threshold, referred to as a flood level, often enables better test time generalization. Current approaches, however, apply the same constant flood level to all training samples, which inherently assumes all the samples have the same difficulty. We present AdaFlood, a novel flood regularization method that adapts the flood level of each training sample according to the difficulty of the sample. Intuitively, since training samples are not equal in difficulty, the target training loss should be conditioned on the instance. Experiments on datasets covering four diverse input modalities - text, images, asynchronous event sequences, and tabular - demonstrate the versatility of AdaFlood across data domains and noise levels.
• Abstract（参考訳）: ニューラルネットワークは従来,ゼロトレーニング損失に対して最適化されてきたが,洪水レベルと呼ばれる非ゼロトレーニング損失閾値を目標とすることで,テスト時間の一般化が向上することが近年で確認されている。 しかし、現在のアプローチでは、すべてのトレーニングサンプルに同じ一定の洪水レベルを適用している。 AdaFloodは,サンプルの難易度に応じて,各トレーニングサンプルの浸水レベルを適応する新しいフラッシャ正規化手法である。 直感的には、トレーニングサンプルは難易度が等しくないので、目標のトレーニング損失をインスタンスに条件付ける必要がある。 テキスト、イメージ、非同期イベントシーケンス、表のような4つの多様な入力モダリティをカバーするデータセットに関する実験は、データドメインとノイズレベルにまたがる拡張性を示している。

関連論文リスト

• Random Word Data Augmentation with CLIP for Zero-Shot Anomaly Detection [3.75292409381511]
  本稿では,ゼロショット異常検出のためのデータソースとして,視覚言語モデルCLIPを利用する新しい手法を提案する。 生成された埋め込みをトレーニングデータとして使用することにより、フィードフォワードニューラルネットワークは、CLIPの埋め込みから正常および異常の特徴を抽出する。 実験により, ゼロショット設定において, 精巧なプロンプトアンサンブルを伴わずに, 最先端の性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2023-08-22T01:55:03Z)
• Unsupervised Deep One-Class Classification with Adaptive Threshold based on Training Dynamics [11.047949973156836]
  疑似ラベル付き正規標本から正規性を学習する,教師なしの深層一階分類を提案する。 10個の異常検出ベンチマークによる実験結果から,本手法は大規模マージンによる異常検出性能を効果的に向上することが示された。
  論文  参考訳（メタデータ） (2023-02-13T01:51:34Z)
• Learning Less Generalizable Patterns with an Asymmetrically Trained Double Classifier for Better Test-Time Adaptation [4.893694715581673]
  本稿では,一対の分類器とショートカットパターンによる回避損失を用いた新しい手法を提案する。 本手法は両ベンチマークの最先端結果を改善し,テスト時間バッチ正規化に最も有効である。
  論文  参考訳（メタデータ） (2022-10-17T08:05:38Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples Discrimination [28.599571524763785]
  ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。 この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
  論文  参考訳（メタデータ） (2022-08-21T13:38:55Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• An analysis of over-sampling labeled data in semi-supervised learning with FixMatch [66.34968300128631]
  ほとんどの半教師付き学習手法は、ミニバッチを訓練する際にラベルをオーバーサンプルする。 本稿では,この実践が学習と方法を改善するかどうかを考察する。 ラベル付けの有無に関わらず、トレーニングデータから各ミニバッチを均一にサンプリングする別の設定と比較する。
  論文  参考訳（メタデータ） (2022-01-03T12:22:26Z)
• Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
  破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。 既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。 しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
  論文  参考訳（メタデータ） (2021-12-30T09:20:07Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。