論文の概要: Research on Named Entity Recognition in Improved transformer with R-Drop structure

• arxiv url: http://arxiv.org/abs/2306.08315v1
• Date: Wed, 14 Jun 2023 07:34:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 19:56:20.752029
• Title: Research on Named Entity Recognition in Improved transformer with R-Drop structure
• Title（参考訳）: R-Drop構造を有する改良型変圧器における名前付きエンティティ認識に関する研究
• Authors: Weidong Ji, Yousheng Zhang, Guohui Zhou, Xu Wang
• Abstract要約: 本稿では,XLNet-Transformer-Rモデルを提案する。 相対的な位置エンコーディングを備えたTransformerエンコーダが組み合わされ、長いテキストを処理するモデルの能力が向上する。 オーバーフィッティングを防止するため、R-Drop構造を用いて一般化能力を向上させる。
• 参考スコア（独自算出の注目度）: 3.677017987610888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To enhance the generalization ability of the model and improve the effectiveness of the transformer for named entity recognition tasks, the XLNet-Transformer-R model is proposed in this paper. The XLNet pre-trained model and the Transformer encoder with relative positional encodings are combined to enhance the model's ability to process long text and learn contextual information to improve robustness. To prevent overfitting, the R-Drop structure is used to improve the generalization capability and enhance the accuracy of the model in named entity recognition tasks. The model in this paper performs ablation experiments on the MSRA dataset and comparison experiments with other models on four datasets with excellent performance, demonstrating the strategic effectiveness of the XLNet-Transformer-R model.
• Abstract（参考訳）: 本稿では,モデル一般化能力の向上と名前付きエンティティ認識タスクにおける変換器の有効性向上のために,XLNet-Transformer-Rモデルを提案する。 XLNet事前学習モデルと相対的な位置エンコーディングを備えたTransformerエンコーダを組み合わせることで、長いテキストの処理能力を高め、コンテキスト情報を学習することで堅牢性を向上させる。 オーバーフィッティングを防止するため、R-Drop構造を用いて一般化能力を改善し、名前付きエンティティ認識タスクにおけるモデルの精度を高める。 本稿では,MSRAデータセット上でのアブレーション実験と,XLNet-Transformer-Rモデルの戦略的有効性を示す4つのデータセットにおける他のモデルとの比較実験を行う。

関連論文リスト

• Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
  ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。 畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。 線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-09-26T07:24:09Z)
• IG-CFAT: An Improved GAN-Based Framework for Effectively Exploiting Transformers in Real-World Image Super-Resolution [2.1561701531034414]
  近年, 複合核融合注意変換器 (CFAT) は, 従来のSOTAモデルよりも高画質である。 本稿では,実世界の画像超解像における変換器の性能を効果的に活用するために,CFATモデルを取り入れた新しいGANベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-19T20:21:26Z)
• TransAxx: Efficient Transformers with Approximate Computing [4.347898144642257]
  Vision Transformer (ViT) モデルは非常に競争力があり、畳み込みニューラルネットワーク (CNN) の代替として人気がある。 本稿では,PyTorchライブラリをベースとしたフレームワークであるTransAxxを提案する。 提案手法では,モンテカルロ木探索(MCTS)アルゴリズムを用いて,構成可能な空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-02-12T10:16:05Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
  本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
  論文  参考訳（メタデータ） (2022-04-14T15:14:08Z)
• Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model [58.17021225930069]
  実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。 我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。 近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
  論文  参考訳（メタデータ） (2021-05-31T16:20:03Z)
• Cross-Modal Generative Augmentation for Visual Question Answering [34.9601948665926]
  本稿では,複数のモダリティ間の相関を利用したデータ拡張生成モデルを提案する。 提案したモデルは,生成確率によって拡張データの信頼度を定量化し,下流パイプラインと共同して更新することができる。
  論文  参考訳（メタデータ） (2021-05-11T04:51:26Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Transformer-based Conditional Variational Autoencoder for Controllable Story Generation [39.577220559911055]
  ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。 我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。 具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
  論文  参考訳（メタデータ） (2021-01-04T08:31:11Z)
• From Sound Representation to Model Robustness [82.21746840893658]
  本研究では, 環境音の標準的な表現(スペクトログラム)が, 被害者の残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 3つの環境音響データセットの様々な実験から、ResNet-18モデルは、他のディープラーニングアーキテクチャよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-27T17:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。