論文の概要: AugLoss: A Robust Augmentation-based Fine Tuning Methodology

• arxiv url: http://arxiv.org/abs/2206.02286v2
• Date: Mon, 29 Jan 2024 01:38:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 01:20:44.282112
• Title: AugLoss: A Robust Augmentation-based Fine Tuning Methodology
• Title（参考訳）: AugLoss:ロバストな拡張ベースのファインチューニング方法論
• Authors: Kyle Otstot, Andrew Yang, John Kevin Cava, Lalitha Sankar
• Abstract要約: AugLossは、トレインタイムノイズラベリングとテストタイムの特徴分散シフトの両方に対して堅牢性を実現する、シンプルだが効果的な方法論である。 我々は、AugLossが達成した利益を示すために、現実世界のデータセット破損のさまざまな設定で包括的な実験を行う。
• 参考スコア（独自算出の注目度）: 5.489248229630452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Learning (DL) models achieve great successes in many domains. However, DL models increasingly face safety and robustness concerns, including noisy labeling in the training stage and feature distribution shifts in the testing stage. Previous works made significant progress in addressing these problems, but the focus has largely been on developing solutions for only one problem at a time. For example, recent work has argued for the use of tunable robust loss functions to mitigate label noise, and data augmentation (e.g., AugMix) to combat distribution shifts. As a step towards addressing both problems simultaneously, we introduce AugLoss, a simple but effective methodology that achieves robustness against both train-time noisy labeling and test-time feature distribution shifts by unifying data augmentation and robust loss functions. We conduct comprehensive experiments in varied settings of real-world dataset corruption to showcase the gains achieved by AugLoss compared to previous state-of-the-art methods. Lastly, we hope this work will open new directions for designing more robust and reliable DL models under real-world corruptions.
• Abstract（参考訳）: ディープラーニング(dl)モデルは、多くの領域で大きな成功を収めます。 しかし、DLモデルは、トレーニング段階におけるノイズラベリングやテスト段階における特徴分布シフトなど、安全性と堅牢性への懸念がますます高まっている。 これまでの研究は、これらの問題に対処する上で大きな進歩を遂げてきたが、その焦点は、一度に1つの問題だけに対するソリューションの開発だった。 例えば、最近の研究は、ラベルノイズを緩和するために調整可能な堅牢な損失関数を使うことと、分散シフトと戦うためにデータ拡張(AugMixなど)を議論している。 両問題を同時に解決するためのステップとして,データ拡張とロバスト損失関数を統一することにより,列車時ノイズラベルとテスト時特徴分布シフトの両方に対して堅牢性を実現する,シンプルかつ効果的な手法であるAugLossを紹介した。 我々は,実世界のデータセット腐敗のさまざまな設定で包括的な実験を行い,これまでの最先端手法と比較して,auglossが達成した成果を示す。 最後に、この取り組みが、現実世界の腐敗の下でより堅牢で信頼性の高いdlモデルを設計するための新しい方向を開くことを望んでいる。

関連論文リスト

• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• DiffClass: Diffusion-Based Class Incremental Learning [30.514281721324853]
  クラスインクリメンタルラーニング(CIL)は破滅的な忘れが原因で困難である。 最近の例のないCIL手法は、過去のタスクデータを合成することによって破滅的な忘れを軽減しようとする。 そこで本研究では,これらの問題を克服するために,新しい非定型CIL法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T03:34:18Z)
• Towards a robust and reliable deep learning approach for detection of compact binary mergers in gravitational wave data [0.0]
  我々は、段階的に深層学習モデルを開発し、その堅牢性と信頼性の向上に取り組みます。 我々はGAN(Generative Adversarial Network)を含む新しいフレームワークでモデルを再訓練する。 絶対ロバスト性は事実上達成できないが、そのような訓練によって得られるいくつかの根本的な改善を実証する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:05Z)
• Benchmarking Low-Shot Robustness to Natural Distribution Shifts [18.84297269860671]
  異なる低ショット状態における様々な自然分布シフトに対するロバスト性について検討する。 他のモデルよりも堅牢な選択モデルはありません。 既存の介入は、フルショット方式であっても、一部のデータセットの堅牢性を改善するのに失敗する可能性がある。
  論文  参考訳（メタデータ） (2023-04-21T22:09:42Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Dissecting Continual Learning a Structural and Data Analysis [0.0]
  連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。 ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。 このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
  論文  参考訳（メタデータ） (2023-01-03T10:37:11Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• Virtual Data Augmentation: A Robust and General Framework for Fine-tuning Pre-trained Models [51.46732511844122]
  強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。 VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。 本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
  論文  参考訳（メタデータ） (2021-09-13T09:15:28Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。