論文の概要: DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification

• arxiv url: http://arxiv.org/abs/2209.05297v1
• Date: Mon, 12 Sep 2022 15:01:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 13:01:06.866646
• Title: DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification
• Title（参考訳）: DoubleMix: テキスト分類のための単純な補間に基づくデータ拡張
• Authors: Hui Chen, Wei Han, Diyi Yang, Soujanya Poria
• Abstract要約: 本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
• 参考スコア（独自算出の注目度）: 56.817386699291305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a simple yet effective interpolation-based data augmentation approach termed DoubleMix, to improve the robustness of models in text classification. DoubleMix first leverages a couple of simple augmentation operations to generate several perturbed samples for each training data, and then uses the perturbed data and original data to carry out a two-step interpolation in the hidden space of neural models. Concretely, it first mixes up the perturbed data to a synthetic sample and then mixes up the original data and the synthetic perturbed data. DoubleMix enhances models' robustness by learning the "shifted" features in hidden space. On six text classification benchmark datasets, our approach outperforms several popular text augmentation methods including token-level, sentence-level, and hidden-level data augmentation techniques. Also, experiments in low-resource settings show our approach consistently improves models' performance when the training data is scarce. Extensive ablation studies and case studies confirm that each component of our approach contributes to the final performance and show that our approach exhibits superior performance on challenging counterexamples. Additionally, visual analysis shows that text features generated by our approach are highly interpretable. Our code for this paper can be found at https://github.com/declare-lab/DoubleMix.git.
• Abstract（参考訳）: 本稿では,テキスト分類におけるモデルのロバスト性を改善するために,DoubleMixと呼ばれる単純な補間に基づくデータ拡張手法を提案する。 DoubleMixはまず、いくつかの単純な拡張操作を活用して、トレーニングデータごとにいくつかの摂動サンプルを生成し、次に摂動データと元のデータを使用して、隠れたニューラルネットワーク空間で2段階の補間を実行する。 具体的には、まず摂動データを合成サンプルに混合し、それから元のデータと合成摂動データとを混合する。 doublemixは、隠れた空間で"シフト"機能を学習することで、モデルの堅牢性を高める。 6つのテキスト分類ベンチマークデータセットにおいて,本手法はトークンレベル,文レベル,隠れレベルデータ拡張技術など,いくつかの一般的なテキスト拡張手法よりも優れている。 また,低リソース環境での実験では,トレーニングデータが少ない場合,モデルの性能が一貫して向上することを示す。 広範なアブレーション研究とケーススタディにより,我々のアプローチのそれぞれのコンポーネントが最終性能に寄与することを確認し,挑戦的な反例において優れた性能を示すことが示された。 さらに,視覚解析により,提案手法が生成するテキスト機能は,高い解釈性を示す。 この論文のコードはhttps://github.com/declare-lab/doublemix.gitで確認できます。

関連論文リスト

• TransformMix: Learning Transformation and Mixing Strategies from Data [20.79680733590554]
  我々は、データからより良い変換と拡張戦略を混合するための自動アプローチであるTransformMixを提案する。 本稿では,トランスフォーメーション学習,分類,オブジェクト検出,知識蒸留設定におけるTransformMixの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-19T04:36:41Z)
• Manifold DivideMix: A Semi-Supervised Contrastive Learning Framework for Severe Label Noise [4.90148689564172]
  実世界のデータセットには、データセットのどのクラスにも意味のないノイズの多いラベルサンプルが含まれている。 最先端の手法の多くは、IDラベル付きノイズサンプルを半教師付き学習のためのラベルなしデータとして利用する。 自己指導型トレーニングの利点を生かして,すべてのトレーニングデータからの情報を活用することを提案する。
  論文  参考訳（メタデータ） (2023-08-13T23:33:33Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• Feature Weaken: Vicinal Data Augmentation for Classification [1.7013938542585925]
  モデルトレーニングと同一のコサイン類似性を持つビジナルデータ分布を構築するためにFeature Weakenを用いている。 この研究は、モデルの分類性能と一般化を改善するだけでなく、モデルの訓練を安定させ、モデルの収束を加速させる。
  論文  参考訳（メタデータ） (2022-11-20T11:00:23Z)
• Dataset Distillation via Factorization [58.8114016318593]
  既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。 emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。 提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
  論文  参考訳（メタデータ） (2022-10-30T08:36:19Z)
• SelfMix: Robust Learning Against Textual Label Noise with Self-Mixup Training [15.877178854064708]
  SelfMixは、テキスト分類タスクのラベルノイズを処理するためのシンプルで効果的な方法である。 本手法は,1つのモデル上でのドロップアウト機構を利用して,自己学習における確認バイアスを低減する。
  論文  参考訳（メタデータ） (2022-10-10T09:46:40Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• Sequence-Level Mixed Sample Data Augmentation [119.94667752029143]
  本研究は、シーケンス対シーケンス問題に対するニューラルモデルにおける合成行動を促進するための単純なデータ拡張手法を提案する。 我々の手法であるSeqMixは、トレーニングセットから入力/出力シーケンスをソフトに結合することで、新しい合成例を作成する。
  論文  参考訳（メタデータ） (2020-11-18T02:18:04Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。