論文の概要: RPN: A Word Vector Level Data Augmentation Algorithm in Deep Learning for Language Understanding

• arxiv url: http://arxiv.org/abs/2212.05961v2
• Date: Thu, 13 Apr 2023 06:49:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 17:15:40.338802
• Title: RPN: A Word Vector Level Data Augmentation Algorithm in Deep Learning for Language Understanding
• Title（参考訳）: rpn: 言語理解のためのディープラーニングにおける単語ベクトルレベルデータ拡張アルゴリズム
• Authors: Zhengqing Yuan, Zhuanzhe Zhao, Yongming Liu, Xiaolong Zhang, Xuecong Hou, Yue Wang and Huiwen Xue
• Abstract要約: 本稿では,単語ベクトルレベルで動作させる新しいデータ拡張手法であるRandom Position Noise (RPN)アルゴリズムを提案する。 RPNは、選択された単語ベクトルの既存の値に基づいてノイズを導入することにより、元のテキストの単語埋め込みを変更する。 実験の結果、RPNは様々なNLUタスクにおける既存のデータ拡張技術より一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 6.844513564429867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation is a widely used technique in machine learning to improve model performance. However, existing data augmentation techniques in natural language understanding (NLU) may not fully capture the complexity of natural language variations, and they can be challenging to apply to large datasets. This paper proposes the Random Position Noise (RPN) algorithm, a novel data augmentation technique that operates at the word vector level. RPN modifies the word embeddings of the original text by introducing noise based on the existing values of selected word vectors, allowing for more fine-grained modifications and better capturing natural language variations. Unlike traditional data augmentation methods, RPN does not require gradients in the computational graph during virtual sample updates, making it simpler to apply to large datasets. Experimental results demonstrate that RPN consistently outperforms existing data augmentation techniques across various NLU tasks, including sentiment analysis, natural language inference, and paraphrase detection. Moreover, RPN performs well in low-resource settings and is applicable to any model featuring a word embeddings layer. The proposed RPN algorithm is a promising approach for enhancing NLU performance and addressing the challenges associated with traditional data augmentation techniques in large-scale NLU tasks. Our experimental results demonstrated that the RPN algorithm achieved state-of-the-art performance in all seven NLU tasks, thereby highlighting its effectiveness and potential for real-world NLU applications.
• Abstract（参考訳）: データ拡張は、モデルパフォーマンスを改善するために機械学習で広く使われているテクニックである。 しかし、自然言語理解(NLU)における既存のデータ拡張技術は、自然言語のバリエーションの複雑さを完全にとらえるには至らず、大規模なデータセットに適用することは困難である。 本稿では,単語ベクトルレベルで動作させる新しいデータ拡張手法であるRandom Position Noise (RPN)アルゴリズムを提案する。 rpnは、選択された単語ベクトルの既存の値に基づいてノイズを導入することで、元のテキストの単語埋め込みを修正し、よりきめ細かい修正を可能にし、自然言語のバリエーションをよりよく捉えることができる。 従来のデータ拡張方法とは異なり、RPNは仮想サンプル更新中に計算グラフの勾配を必要としないため、大規模なデータセットに適用しやすくなる。 実験の結果、RPNは感情分析、自然言語推論、パラフレーズ検出など、様々なNLUタスクにおいて、既存のデータ拡張技術よりも一貫して優れていることが示された。 さらに、RPNは低リソース環境では良好に動作し、ワード埋め込み層を備えたモデルにも適用できる。 提案したRPNアルゴリズムは,NLUの性能向上と,大規模NLUタスクにおける従来のデータ拡張技術に関連する課題に対処するための有望な手法である。 実験の結果、RPNアルゴリズムは7つのNLUタスクすべてにおいて最先端の性能を達成し、実世界のNLUアプリケーションの有効性と可能性を強調した。

関連論文リスト

• Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques [0.0]
  本研究では,NLG(Natural Language Generation)とNLU(Natural Language Understanding)の併用によってテキスト生成を改善する手法を開発した。 データは、クリーニング、トークン化、ストーミング、ストップワード削除など、注釈付きデータセットの収集と前処理によって作成される。 トランスフォーマーベースのエンコーダとデコーダ、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。 政策勾配手法による強化学習、半教師付きトレーニング、注意機構の改善、および異なる近似を用いて、モデルを微調整し、複雑な言語タスクを効果的に処理する。
  論文  参考訳（メタデータ） (2024-10-17T12:43:49Z)
• Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization [0.0]
  本研究では,構造を模倣するニューラルネットワークとして,情報伝達機能とNNの応用の可能性について論じる。 本研究では,段差関数をアクティベーション関数として使用し,0～15層を隠蔽し,重み更新を行わない完全連結層からなるNNSアーキテクチャを提案する。 ラベル毎のトレーニングデータの平均出力ベクトルとテストデータの出力ベクトルをベクトル類似度に基づいて比較して精度を算出する。
  論文  参考訳（メタデータ） (2024-08-18T09:22:24Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Detecting Requirements Smells With Deep Learning: Experiences, Challenges and Future Work [9.44316959798363]
  本研究の目的は,手動でラベル付きデータセットを作成し,アンサンブル学習,深層学習(DL),単語埋め込みや伝達学習といった手法を用いて一般化問題を克服することで,従来の作業を改善することである。 現在の調査結果は、データセットが不均衡であり、どのクラスをもっと追加すべきかを示している。
  論文  参考訳（メタデータ） (2021-08-06T12:45:15Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• TaylorGAN: Neighbor-Augmented Policy Update for Sample-Efficient Natural Language Generation [79.4205462326301]
  TaylorGANは関数ベースの自然言語生成のための新しいアプローチである。 オフポリシー更新による勾配推定と1階のTaylor拡張が強化される。 これにより、より小さなバッチサイズで、スクラッチからNLGモデルをトレーニングすることができます。
  論文  参考訳（メタデータ） (2020-11-27T02:26:15Z)
• Ranking Creative Language Characteristics in Small Data Scenarios [52.00161818003478]
  DirectRankerを適用して、小さなデータでクリエイティブ言語をランク付けするための、新しいディープモデルを提供します。 スパーストレーニングデータを用いた実験により、標準的なニューラルネットワークのランク付け手法の性能は小さなデータセットで崩壊するが、DirectRankerは依然として有効であることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T18:57:47Z)
• Regularizing Deep Networks with Semantic Data Augmentation [44.53483945155832]
  従来の手法を補完する新しい意味データ拡張アルゴリズムを提案する。 提案手法はディープネットワークが線形化特徴の学習に有効であるという興味深い性質に着想を得たものである。 提案した暗黙的セマンティックデータ拡張(ISDA)アルゴリズムは,新たなロバストCE損失を最小限に抑える。
  論文  参考訳（メタデータ） (2020-07-21T00:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。