論文の概要: Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks
- arxiv url: http://arxiv.org/abs/2010.02394v2
- Date: Tue, 10 Nov 2020 23:51:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:20:25.005760
- Title: Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks
- Title(参考訳): Mixup-Transformer: NLPタスクのための動的データ拡張
- Authors: Lichao Sun, Congying Xia, Wenpeng Yin, Tingting Liang, Philip S. Yu,
Lifang He
- Abstract要約: Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
本稿では,自然言語処理タスクにmixupを適用する方法について検討する。
我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
- 参考スコア(独自算出の注目度): 75.69896269357005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixup is the latest data augmentation technique that linearly interpolates
input examples and the corresponding labels. It has shown strong effectiveness
in image classification by interpolating images at the pixel level. Inspired by
this line of research, in this paper, we explore i) how to apply mixup to
natural language processing tasks since text data can hardly be mixed in the
raw format; ii) if mixup is still effective in transformer-based learning
models, e.g., BERT. To achieve the goal, we incorporate mixup to
transformer-based pre-trained architecture, named "mixup-transformer", for a
wide range of NLP tasks while keeping the whole end-to-end training system. We
evaluate the proposed framework by running extensive experiments on the GLUE
benchmark. Furthermore, we also examine the performance of mixup-transformer in
low-resource scenarios by reducing the training data with a certain ratio. Our
studies show that mixup is a domain-independent data augmentation technique to
pre-trained language models, resulting in significant performance improvement
for transformer-based models.
- Abstract(参考訳): Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
画素レベルで画像を補間することで画像分類に強い効果を示した。
この研究に触発されて、本稿では、我々は、
一 自然言語処理タスクにミックスアップを施す方法は、テキストデータが生のフォーマットで混ざり合うことがほとんどないので、どのようにして行うか。
ii)mixupが変圧器ベースの学習モデル、例えばbertにおいてなお有効である場合。
この目的を達成するために,我々は,エンドツーエンドのトレーニングシステム全体を維持しつつ,幅広いnlpタスクに"mixup-transformer"と呼ばれるトランスフォーマベースの事前学習アーキテクチャにmixupを組み込む。
提案手法をGLUEベンチマークで広範な実験により評価する。
さらに,低リソースシナリオにおけるmixup-transformerの性能を,トレーニングデータを一定割合で削減することで検証する。
本研究では、mixupは事前学習された言語モデルに対するドメインに依存しないデータ拡張技術であることを示す。
関連論文リスト
- Adversarial AutoMixup [50.1874436169571]
本稿では,AdAutomixupを提案する。
画像分類のための堅牢な分類器を訓練するために、挑戦的なサンプルを生成する。
本手法は, 様々な分類シナリオにおいて, 技術状況に優れる。
論文 参考訳(メタデータ) (2023-12-19T08:55:00Z) - TiMix: Text-aware Image Mixing for Effective Vision-Language
Pre-training [42.142924806184425]
クロスモーダルなコントラスト学習のための混合データサンプルは、暗黙的にコントラスト損失のレギュレータとして機能する。
TiMixは、既存のメソッドに対してベンチマークした場合、トレーニングデータの量が減り、トレーニング時間が短縮された場合でも、ダウンストリームタスクで同等のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-12-14T12:02:24Z) - DP-Mix: Mixup-based Data Augmentation for Differentially Private
Learning [10.971246386083884]
本稿では,差分学習の制約に特化して設計された2つの新しいデータ拡張手法を提案する。
我々の最初のテクニックであるDP-Mix_Selfは、自己拡張データにミキサアップを施すことにより、さまざまなデータセットと設定にわたるSoTA分類性能を達成する。
第2の手法であるDP-Mix_Diffは、事前学習した拡散モデルから合成データを混合プロセスに組み込むことにより、さらなる性能向上を図る。
論文 参考訳(メタデータ) (2023-11-02T15:12:12Z) - Mixing Histopathology Prototypes into Robust Slide-Level Representations
for Cancer Subtyping [19.577541771516124]
計算病理学の手法による全スライディング画像解析は、しばしば、スライドレベルラベルのみが利用可能なテッセル化ギガピクセル画像の処理に依存している。
複数のインスタンス学習手法やトランスフォーマーモデルを適用することは、各イメージとして計算コストが高く、すべてのインスタンスを同時に処理する必要がある。
TheMixerは、特に大規模データセットにおいて、一般的なビジョントランスフォーマーの未探索の代替モデルである。
論文 参考訳(メタデータ) (2023-10-19T14:15:20Z) - MixupE: Understanding and Improving Mixup from Directional Derivative
Perspective [86.06981860668424]
理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。
提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
論文 参考訳(メタデータ) (2022-12-27T07:03:52Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳(メタデータ) (2022-10-27T02:55:15Z) - DoubleMix: Simple Interpolation-Based Data Augmentation for Text
Classification [56.817386699291305]
本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。
DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。
次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
論文 参考訳(メタデータ) (2022-09-12T15:01:04Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳(メタデータ) (2022-03-21T07:12:18Z) - MixUp Training Leads to Reduced Overfitting and Improved Calibration for
the Transformer Architecture [0.0]
mixupは、入力データとそのラベルの凸一般化を用いてトレーニング中のモデルを強化するコンピュータビジョンデータ拡張技術である。
本研究では,トランスの入力,マニホールド,文埋め込みレベルでのMixUp法を提案し,さまざまなNLUタスクに対してBERTモデルを微調整する。
mixupはモデルのパフォーマンスを向上し、テスト損失とモデルのキャリブレーションエラーを最大50%削減できることが分かりました。
論文 参考訳(メタデータ) (2021-02-22T23:12:35Z) - T-VSE: Transformer-Based Visual Semantic Embedding [5.317624228510748]
トランスフォーマーをベースとしたクロスモーダル埋め込みは,電子商取引製品イメージタイトルペアの大規模なデータセットでトレーニングした場合,ワード平均やRNNベースの埋め込みをはるかに上回ることを示す。
論文 参考訳(メタデータ) (2020-05-17T23:40:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。