Fugu-MT 論文翻訳(概要): RC-Mixup: A Data Augmentation Strategy against Noisy Data for Regression Tasks

論文の概要: RC-Mixup: A Data Augmentation Strategy against Noisy Data for Regression Tasks

arxiv url: http://arxiv.org/abs/2405.17938v1
Date: Tue, 28 May 2024 08:02:42 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 19:37:52.933403
Title: RC-Mixup: A Data Augmentation Strategy against Noisy Data for Regression Tasks
Title（参考訳）: RC-Mixup: 回帰タスクのためのノイズデータに対するデータ拡張戦略
Authors: Seong-Hyeon Hwang, Minsu Kim, Steven Euijong Whang,
Abstract要約: 本研究では,ノイズの多いデータの存在下での回帰作業におけるロバストなデータ拡張の問題について検討する。 C-Mixupは、レグレッションパフォーマンスを改善するためにラベル距離に基づいてサンプルを混合する、より選択的である。本稿では,C-Mixupとマルチラウンドロバストな学習手法を密接に統合し,シナジスティックな効果を示すRC-Mixupを提案する。
参考スコア（独自算出の注目度）: 27.247270530020664
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the problem of robust data augmentation for regression tasks in the presence of noisy data. Data augmentation is essential for generalizing deep learning models, but most of the techniques like the popular Mixup are primarily designed for classification tasks on image data. Recently, there are also Mixup techniques that are specialized to regression tasks like C-Mixup. In comparison to Mixup, which takes linear interpolations of pairs of samples, C-Mixup is more selective in which samples to mix based on their label distances for better regression performance. However, C-Mixup does not distinguish noisy versus clean samples, which can be problematic when mixing and lead to suboptimal model performance. At the same time, robust training has been heavily studied where the goal is to train accurate models against noisy data through multiple rounds of model training. We thus propose our data augmentation strategy RC-Mixup, which tightly integrates C-Mixup with multi-round robust training methods for a synergistic effect. In particular, C-Mixup improves robust training in identifying clean data, while robust training provides cleaner data to C-Mixup for it to perform better. A key advantage of RC-Mixup is that it is data-centric where the robust model training algorithm itself does not need to be modified, but can simply benefit from data mixing. We show in our experiments that RC-Mixup significantly outperforms C-Mixup and robust training baselines on noisy data benchmarks and can be integrated with various robust training methods.
Abstract（参考訳）: 本研究では,ノイズの多いデータの存在下での回帰作業におけるロバストなデータ拡張の問題について検討する。データ拡張はディープラーニングモデルの一般化に不可欠だが、Mixupのような一般的な技術のほとんどは、主に画像データの分類タスクのために設計されている。最近は、C-Mixupのような回帰タスクに特化したMixupテクニックもある。サンプルのペアを線形に補間するMixupと比較して、C-Mixupはより選択的であり、より優れた回帰性能を得るためにラベル距離に基づいてサンプルを混合する。しかし、C-Mixupはノイズとクリーンなサンプルを区別しないため、混合時に問題があり、最適以下のモデル性能につながる可能性がある。同時に、堅牢なトレーニングは、複数のモデルのトレーニングを通じて、ノイズの多いデータに対して正確なモデルをトレーニングすることを目的として、非常に研究されている。そこで本研究では,C-Mixupとマルチラウンドロバストなトレーニング手法を密接に統合したデータ拡張戦略RC-Mixupを提案する。特に、C-Mixupはクリーンなデータを特定するための堅牢なトレーニングを改善し、ロバストなトレーニングはC-Mixupにより良いパフォーマンスを提供する。 RC-Mixupの重要な利点は、堅牢なモデルトレーニングアルゴリズム自体を変更する必要はなく、単にデータミキシングの恩恵を受けることができる、データ中心であることだ。我々の実験では、RC-Mixupはノイズの多いデータベンチマークでC-Mixupと堅牢なトレーニングベースラインを著しく上回り、様々な堅牢なトレーニング手法と統合できることを示した。

関連論文リスト

RegMix: Data Mixture as Regression for Language Model Pre-training [40.45464495981735]
本稿では,レグレッションタスクとして定式化することで,ハイパフォーマンスなデータ混合物を自動的に識別するRegMixを提案する。 RegMixでは、さまざまなデータ混在の小さなモデルのセットをトレーニングし、レグレッションモデルを適用してパフォーマンスを予測する。提案手法は,人間の選択に比較して優れた性能を示し,DoReMiに匹敵する結果を得る。
論文参考訳（メタデータ） (2024-07-01T17:31:03Z)
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
論文参考訳（メタデータ） (2024-03-25T17:14:00Z)
Efficient Online Data Mixing For Language Model Pre-Training [101.45242332613944]
既存のデータ選択方法は、遅くて計算コストのかかるプロセスに悩まされる。一方、データミキシングは、データポイントをまとめることで、データ選択の複雑さを低減する。我々は,データ選択とデータ混合の両要素を組み合わせたオンラインデータ混合(ODM)の効率的なアルゴリズムを開発した。
論文参考訳（メタデータ） (2023-12-05T00:42:35Z)
Over-training with Mixup May Hurt Generalization [32.64382185990981]
今回,Mixupトレーニングの既往の現象を報告する。多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
論文参考訳（メタデータ） (2023-03-02T18:37:34Z)
C-Mixup: Improving Generalization in Regression [71.10418219781575]
混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
論文参考訳（メタデータ） (2022-10-11T20:39:38Z)
DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
論文参考訳（メタデータ） (2022-09-12T15:01:04Z)
RandoMix: A mixed sample data augmentation method with multiple mixed modes [12.466162659083697]
RandoMixは、堅牢性と多様性の課題に対処するために設計された、混合サンプルデータ拡張手法である。我々は,CIFAR-10/100,Tiny-ImageNet,ImageNet,Google Speech Commandsなど,さまざまなデータセットに対するRandoMixの有効性を評価する。
論文参考訳（メタデータ） (2022-05-18T05:31:36Z)
Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文参考訳（メタデータ） (2022-03-21T07:12:18Z)
Towards Understanding the Data Dependency of Mixup-style Training [14.803285140800542]
Mixupトレーニングパラダイムでは、データポイントと関連するラベルの凸組み合わせを使用してモデルをトレーニングする。トレーニング中に真のデータポイントはほとんどないが、Mixupを使ってトレーニングされたモデルは、元の経験的リスクを最小限に抑えているようだ。線形モデルと線形分離可能なデータセットの大規模なクラスでは、Mixupトレーニングは標準トレーニングと同じ分類器を学習する。
論文参考訳（メタデータ） (2021-10-14T18:13:57Z)
Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。本稿では,自然言語処理タスクにmixupを適用する方法について検討する。我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文参考訳（メタデータ） (2020-10-05T23:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。