論文の概要: Text AutoAugment: Learning Compositional Augmentation Policy for Text Classification

• arxiv url: http://arxiv.org/abs/2109.00523v1
• Date: Wed, 1 Sep 2021 11:16:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-03 14:09:53.819932
• Title: Text AutoAugment: Learning Compositional Augmentation Policy for Text Classification
• Title（参考訳）: テキストオートAugment: テキスト分類のための構成拡張ポリシーの学習
• Authors: Shuhuai Ren, Jinchao Zhang, Lei Li, Xu Sun, Jie Zhou
• Abstract要約: 本研究では,データ拡張のための合成および学習可能なパラダイムを確立するためのフレームワークであるText AutoAugment (TAA)を提案する。 6つのベンチマークデータセットの実験では、TAAは、それぞれ平均8.8%と9.7%の低リソースとクラス不均衡のレギュレーションの分類精度を向上している。
• 参考スコア（独自算出の注目度）: 29.539403965472943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation aims to enrich training samples for alleviating the overfitting issue in low-resource or class-imbalanced situations. Traditional methods first devise task-specific operations such as Synonym Substitute, then preset the corresponding parameters such as the substitution rate artificially, which require a lot of prior knowledge and are prone to fall into the sub-optimum. Besides, the number of editing operations is limited in the previous methods, which decreases the diversity of the augmented data and thus restricts the performance gain. To overcome the above limitations, we propose a framework named Text AutoAugment (TAA) to establish a compositional and learnable paradigm for data augmentation. We regard a combination of various operations as an augmentation policy and utilize an efficient Bayesian Optimization algorithm to automatically search for the best policy, which substantially improves the generalization capability of models. Experiments on six benchmark datasets show that TAA boosts classification accuracy in low-resource and class-imbalanced regimes by an average of 8.8% and 9.7%, respectively, outperforming strong baselines.
• Abstract（参考訳）: データ拡張は、低リソースまたはクラス不均衡な状況における過度な問題を軽減するためのトレーニングサンプルを強化することを目的としている。 伝統的な手法は、まず同義語代名詞のようなタスク固有の操作を考案し、その後、人工的に置換率などの対応するパラメータをプリセットする。 また,従来の方法では編集操作数が限られており,拡張データの多様性が低下し,性能向上が制限される。 以上の制限を克服するため,データ拡張のための合成および学習可能なパラダイムを確立するためのフレームワークであるText AutoAugment (TAA)を提案する。 様々な操作の組み合わせを拡張ポリシーとみなし、効率の良いベイズ最適化アルゴリズムを用いて最適なポリシーを自動検索し、モデルの一般化能力を大幅に向上させる。 6つのベンチマークデータセットの実験では、TAAは低リソースとクラス不均衡のレシエーションにおける分類精度を平均8.8%、9.7%向上させ、強いベースラインを上回っている。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• When to Learn What: Model-Adaptive Data Augmentation Curriculum [32.99634881669643]
  本稿では,モデル適応型データ拡張(MADAug)を提案する。 従来の作業とは異なり、MADAugはトレーニング段階によって異なるモデル適応ポリシーにより、各入力画像に対する拡張演算子を選択し、より良い一般化のために最適化されたデータ拡張カリキュラムを生成する。
  論文  参考訳（メタデータ） (2023-09-09T10:35:27Z)
• Improved Text Classification via Test-Time Augmentation [2.493374942115722]
  テスト時間拡張は画像分類モデルの性能を向上させるための確立された手法である。 本稿では,言語モデルによる精度向上を実現するための拡張ポリシーを提案する。 バイナリ分類タスクとデータセットによる実験は、テスト時間拡張が一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-06-27T19:57:27Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation [39.97128550414934]
  本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。 以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。 我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
  論文  参考訳（メタデータ） (2022-04-02T16:30:04Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Generalization in Reinforcement Learning by Soft Data Augmentation [11.752595047069505]
  SODA(Soft Data Augmentation)は、政策学習からAugmentationを分離する手法である。 我々は、最先端のビジョンベースRL法によるトレーニングにおいて、サンプル効率、一般化、安定性を著しく向上するSODAを見出した。
  論文  参考訳（メタデータ） (2020-11-26T17:00:34Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。