論文の概要: RPN: A Word Vector Level Data Augmentation Algorithm in Deep Learning for Language Understanding

• arxiv url: http://arxiv.org/abs/2212.05961v1
• Date: Mon, 12 Dec 2022 15:16:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 15:10:22.252221
• Title: RPN: A Word Vector Level Data Augmentation Algorithm in Deep Learning for Language Understanding
• Title（参考訳）: rpn: 言語理解のためのディープラーニングにおける単語ベクトルレベルデータ拡張アルゴリズム
• Authors: Zhengqing Yuan, Zhuanzhe Zhao, Yongming Liu, Xiaolong Zhang, Xuecong Hou and Yue Wang
• Abstract要約: 本稿ではRPN:Random Position Noise Algorithmと呼ばれる自然理解タスクのための新しいデータ拡張アルゴリズムを提案する。 RPNアルゴリズムは、あるワードベクトルの1次元または複数次元の置換を行う。 その後の実験では, RPNをトレーニングモデルや微調整モデルに追加すると, 8つの自然言語処理タスクが安定的に向上することがわかった。
• 参考スコア（独自算出の注目度）: 7.252554862110536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a new data augmentation algorithm for natural understanding tasks, called RPN:Random Position Noise algorithm.Due to the relative paucity of current text augmentation methods. Few of the extant methods apply to natural language understanding tasks for all sentence-level tasks.RPN applies the traditional augmentation on the original text to the word vector level. The RPN algorithm makes a substitution in one or several dimensions of some word vectors. As a result, the RPN can introduce a certain degree of perturbation to the sample and can adjust the range of perturbation on different tasks. The augmented samples are then used to give the model training.This makes the model more robust. In subsequent experiments, we found that adding RPN to the training or fine-tuning model resulted in a stable boost on all 8 natural language processing tasks, including TweetEval, CoLA, and SST-2 datasets, and more significant improvements than other data augmentation algorithms.The RPN algorithm applies to all sentence-level tasks for language understanding and is used in any deep learning model with a word embedding layer.
• Abstract（参考訳）: 本稿では, RPN:Random Position Noise Algorithmと呼ばれる自然理解タスクのための新しいデータ拡張アルゴリズムを提案する。 全ての文レベルのタスクに対して自然言語理解タスクに適用できる手法はほとんどなく、RPNは原文の従来の拡張を単語ベクトルレベルに適用する。 RPNアルゴリズムは、あるワードベクトルの1つまたは複数の次元に置換する。 その結果、RPNはサンプルにある程度の摂動を導入することができ、異なるタスクに対する摂動の範囲を調整することができる。 拡張されたサンプルはモデルのトレーニングに使用され、モデルがより堅牢になる。 その後の実験で、トレーニングや微調整モデルにrpnを加えると、tweeteval、cola、sst-2を含む8つの自然言語処理タスクが安定的に向上し、他のデータ拡張アルゴリズムよりも大幅に改善されたことが分かり、rpnアルゴリズムは言語理解のための全ての文レベルのタスクに適用され、単語埋め込み層を持つあらゆるディープラーニングモデルで使用される。

関連論文リスト

• Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques [0.0]
  本研究では,NLG(Natural Language Generation)とNLU(Natural Language Understanding)の併用によってテキスト生成を改善する手法を開発した。 データは、クリーニング、トークン化、ストーミング、ストップワード削除など、注釈付きデータセットの収集と前処理によって作成される。 トランスフォーマーベースのエンコーダとデコーダ、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。 政策勾配手法による強化学習、半教師付きトレーニング、注意機構の改善、および異なる近似を用いて、モデルを微調整し、複雑な言語タスクを効果的に処理する。
  論文  参考訳（メタデータ） (2024-10-17T12:43:49Z)
• Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization [0.0]
  本研究では,構造を模倣するニューラルネットワークとして,情報伝達機能とNNの応用の可能性について論じる。 本研究では,段差関数をアクティベーション関数として使用し,0～15層を隠蔽し,重み更新を行わない完全連結層からなるNNSアーキテクチャを提案する。 ラベル毎のトレーニングデータの平均出力ベクトルとテストデータの出力ベクトルをベクトル類似度に基づいて比較して精度を算出する。
  論文  参考訳（メタデータ） (2024-08-18T09:22:24Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Detecting Requirements Smells With Deep Learning: Experiences, Challenges and Future Work [9.44316959798363]
  本研究の目的は,手動でラベル付きデータセットを作成し,アンサンブル学習,深層学習(DL),単語埋め込みや伝達学習といった手法を用いて一般化問題を克服することで,従来の作業を改善することである。 現在の調査結果は、データセットが不均衡であり、どのクラスをもっと追加すべきかを示している。
  論文  参考訳（メタデータ） (2021-08-06T12:45:15Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• TaylorGAN: Neighbor-Augmented Policy Update for Sample-Efficient Natural Language Generation [79.4205462326301]
  TaylorGANは関数ベースの自然言語生成のための新しいアプローチである。 オフポリシー更新による勾配推定と1階のTaylor拡張が強化される。 これにより、より小さなバッチサイズで、スクラッチからNLGモデルをトレーニングすることができます。
  論文  参考訳（メタデータ） (2020-11-27T02:26:15Z)
• Ranking Creative Language Characteristics in Small Data Scenarios [52.00161818003478]
  DirectRankerを適用して、小さなデータでクリエイティブ言語をランク付けするための、新しいディープモデルを提供します。 スパーストレーニングデータを用いた実験により、標準的なニューラルネットワークのランク付け手法の性能は小さなデータセットで崩壊するが、DirectRankerは依然として有効であることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T18:57:47Z)
• Regularizing Deep Networks with Semantic Data Augmentation [44.53483945155832]
  従来の手法を補完する新しい意味データ拡張アルゴリズムを提案する。 提案手法はディープネットワークが線形化特徴の学習に有効であるという興味深い性質に着想を得たものである。 提案した暗黙的セマンティックデータ拡張(ISDA)アルゴリズムは,新たなロバストCE損失を最小限に抑える。
  論文  参考訳（メタデータ） (2020-07-21T00:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。