論文の概要: SSMix: Saliency-Based Span Mixup for Text Classification

• arxiv url: http://arxiv.org/abs/2106.08062v1
• Date: Tue, 15 Jun 2021 11:40:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:36:50.353506
• Title: SSMix: Saliency-Based Span Mixup for Text Classification
• Title（参考訳）: SSMix:Saliencyベースのテキスト分類用Span Mixup
• Authors: Soyoung Yoon, Gyuwan Kim, Kyumin Park
• Abstract要約: 隠れベクトルではなく入力テキストで操作を行う新しい混合手法であるSSMixを提案する。 SSMixは、スパンベースのミキシングによって2つの原文の局所性を保ちながら文を合成する。 我々は,本手法がテキスト分類ベンチマークにおいて,隠れレベル混合手法より優れていることを実証的に検証した。
• 参考スコア（独自算出の注目度）: 2.4493299476776778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation with mixup has shown to be effective on various computer vision tasks. Despite its great success, there has been a hurdle to apply mixup to NLP tasks since text consists of discrete tokens with variable length. In this work, we propose SSMix, a novel mixup method where the operation is performed on input text rather than on hidden vectors like previous approaches. SSMix synthesizes a sentence while preserving the locality of two original texts by span-based mixing and keeping more tokens related to the prediction relying on saliency information. With extensive experiments, we empirically validate that our method outperforms hidden-level mixup methods on a wide range of text classification benchmarks, including textual entailment, sentiment classification, and question-type classification. Our code is available at https://github.com/clovaai/ssmix.
• Abstract（参考訳）: mixupによるデータ拡張は、様々なコンピュータビジョンタスクに有効であることが示されている。 その大きな成功にもかかわらず、テキストは可変長の離散トークンからなるため、NLPタスクにミックスアップを適用するハードルがあった。 本研究では,従来の手法のような隠れベクトルではなく,入力テキスト上で操作を行う新しい混合手法であるSSMixを提案する。 ssmixは、スパンベースの混合によって2つの原文の局所性を保ちながら文を合成し、給与情報に依存する予測に関連するトークンを多く保持する。 広範にわたる実験により,本手法は,テキストの包含,感情分類,質問型分類など,幅広いテキスト分類ベンチマークにおいて,隠れレベル混合手法よりも優れていることを示す。 私たちのコードはhttps://github.com/clovaai/ssmixで利用可能です。

関連論文リスト

• Elevating Code-mixed Text Handling through Auditory Information of Words [24.53638976212391]
  本稿では,SOUNDEXの単語の聴覚情報を用いて,コード混合テキストデータを扱うための言語モデルを作成するための効果的な手法を提案する。 提案手法は,SOUNDEX表現(SAMLM)と事前学習モデルに入力データを提供する新しい方法を含む,マスク付き言語モデルに基づく事前学習ステップを含む。
  論文  参考訳（メタデータ） (2023-10-27T14:03:30Z)
• HIT-SCIR at MMNLU-22: Consistency Regularization for Multilingual Spoken Language Understanding [56.756090143062536]
  本稿では,ハイブリッドデータ拡張戦略に基づく一貫性の正則化を提案する。 フルデータセットとゼロショット設定の両方で、MASSIVEデータセット上で実験を行う。 提案手法はインテント検出とスロット充足の両方の性能を向上させる。
  論文  参考訳（メタデータ） (2023-01-05T11:21:15Z)
• SelfMix: Robust Learning Against Textual Label Noise with Self-Mixup Training [15.877178854064708]
  SelfMixは、テキスト分類タスクのラベルノイズを処理するためのシンプルで効果的な方法である。 本手法は,1つのモデル上でのドロップアウト機構を利用して,自己学習における確認バイアスを低減する。
  論文  参考訳（メタデータ） (2022-10-10T09:46:40Z)
• DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
  本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
  論文  参考訳（メタデータ） (2022-09-12T15:01:04Z)
• SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data [124.95585891086894]
  提案はSemantically Proportional Mixing(SnapMix)と呼ばれる クラスアクティベーションマップ(CAM)を利用して、きめ細かいデータを強化する際にラベルノイズを低減します。 本手法は既存の混合型アプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-12-09T03:37:30Z)
• Sequence-Level Mixed Sample Data Augmentation [119.94667752029143]
  本研究は、シーケンス対シーケンス問題に対するニューラルモデルにおける合成行動を促進するための単純なデータ拡張手法を提案する。 我々の手法であるSeqMixは、トレーニングセットから入力/出力シーケンスをソフトに結合することで、新しい合成例を作成する。
  論文  参考訳（メタデータ） (2020-11-18T02:18:04Z)
• IIT Gandhinagar at SemEval-2020 Task 9: Code-Mixed Sentiment Classification Using Candidate Sentence Generation and Selection [1.2301855531996841]
  コードミキシングは、非標準の書き込みスタイルのためにテキストの感情を分析することの難しさを増す。 本稿では,Bi-LSTMに基づくニューラル分類器上での文生成と選択に基づく提案手法を提案する。 提案手法は,Bi-LSTMに基づくニューラル分類器と比較して,システム性能の向上を示す。
  論文  参考訳（メタデータ） (2020-06-25T14:59:47Z)
• MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classification [68.15015032551214]
  MixTextはテキスト分類のための半教師付き学習手法である。 TMixは、隠れた空間でテキストを補間することで、大量の拡張トレーニングサンプルを生成する。 我々は、ラベルなしデータの低エントロピーラベルを推測するために、最近のデータ拡張の進歩を活用している。
  論文  参考訳（メタデータ） (2020-04-25T21:37:36Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。