論文の概要: Supplementary Features of BiLSTM for Enhanced Sequence Labeling

• arxiv url: http://arxiv.org/abs/2305.19928v4
• Date: Fri, 23 Jun 2023 13:47:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 16:54:18.543368
• Title: Supplementary Features of BiLSTM for Enhanced Sequence Labeling
• Title（参考訳）: 系列ラベル強化のためのBiLSTMの補助的特徴
• Authors: Conglei Xu, Kun Shen, Hongguang Sun
• Abstract要約: シーケンスラベリングタスクのための文表現を生成するBiLSTMの能力は本質的に制限されている。 我々は,将来と過去の文表現を各セルの文表現に統合するグローバルコンテキスト機構を考案した。 調査対象の全データセットに対して,F1スコアの大幅な改善と精度について言及した。
• 参考スコア（独自算出の注目度）: 1.6255202259274413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence labeling tasks require the computation of sentence representations for each word within a given sentence. A prevalent method incorporates a Bi-directional Long Short-Term Memory (BiLSTM) layer to enhance the sequence structure information. However, empirical evidence Li (2020) suggests that the capacity of BiLSTM to produce sentence representations for sequence labeling tasks is inherently limited. This limitation primarily results from the integration of fragments from past and future sentence representations to formulate a complete sentence representation. In this study, we observed that the entire sentence representation, found in both the first and last cells of BiLSTM, can supplement each the individual sentence representation of each cell. Accordingly, we devised a global context mechanism to integrate entire future and past sentence representations into each cell's sentence representation within the BiLSTM framework. By incorporating the BERT model within BiLSTM as a demonstration, and conducting exhaustive experiments on nine datasets for sequence labeling tasks, including named entity recognition (NER), part of speech (POS) tagging, and End-to-End Aspect-Based sentiment analysis (E2E-ABSA). We noted significant improvements in F1 scores and accuracy across all examined datasets.
• Abstract（参考訳）: シーケンスラベリングタスクは、与えられた文内の各単語に対する文表現の計算を必要とする。 一般的な方法は、双方向長短短期記憶(bilstm)層を組み込んでシーケンス構造情報を強化する。 しかし、Li (2020) は、シーケンスラベリングタスクの文表現を生成する BiLSTM の能力は本質的に制限されていることを示唆している。 この制限は主に、完全な文表現を定式化するために過去と将来の文表現からの断片の統合によって生じる。 本研究では,BiLSTMの第1および第2の細胞にみられる全文表現が,各細胞の個々の文表現を補うことができることを示した。 そこで我々は,BILSTMフレームワーク内の各セルの文表現に未来と過去の文表現を統合するグローバルコンテキスト機構を考案した。 BiLSTMにBERTモデルを組み込んで、名前付きエンティティ認識(NER)、音声(POS)タグ付けの一部、エンドツーエンドのアスペクトベース感情分析(E2E-ABSA)など、シーケンスラベリングタスクの9つのデータセットに対して、徹底的な実験を行う。 調査対象の全データセットに対して,F1スコアと精度が大幅に向上した。

関連論文リスト

• Hyperbolic sentence representations for solving Textual Entailment [0.0]
  我々は、テキスト・エンタテインメントの解決にハイパーボリック・スペースをどのように使えるかを証明するために、ポインケア・ボールを使って文を埋め込む。 LSTMs, Order Embeddings, Euclidean Averagingなど,様々な背景のベースラインに対して評価を行った。 SICKデータセットのベースラインを一貫して上回り、SNLIデータセットのOrder Embeddingsに次いで第2位です。
  論文  参考訳（メタデータ） (2024-06-15T15:39:43Z)
• Neural Machine Translation with Contrastive Translation Memories [71.86990102704311]
  Retrieval-augmented Neural Machine Translationモデルは、多くの翻訳シナリオで成功している。 そこで本論文では,新たに検索拡張NMTを提案し,ソース文と相似なコントラスト検索された翻訳記憶をモデル化する。 訓練段階では、目標文に対する各TMの健全な特徴を学習するために、マルチTMコントラスト学習目標を導入する。
  論文  参考訳（メタデータ） (2022-12-06T17:10:17Z)
• Text Summarization with Oracle Expectation [88.39032981994535]
  抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。 ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。 本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T14:10:08Z)
• Reformulating Sentence Ordering as Conditional Text Generation [17.91448517871621]
  文順序フレームワークであるReorder-BART(RE-BART)を紹介します。 タスクを条件付きテキスト-マーカー生成設定として再構成します。 私たちのフレームワークは、Perfect Match Ratio(PMR)とKendallのtau($tau$)メトリックの6つのデータセットにわたる最先端のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-04-14T18:16:47Z)
• Syntactic representation learning for neural network based TTS with syntactic parse tree traversal [49.05471750563229]
  本稿では,構文解析木に基づく構文表現学習手法を提案し,構文構造情報を自動的に活用する。 実験の結果,提案手法の有効性が示された。 複数の構文解析木を持つ文では、合成音声から韻律的差異が明確に認識される。
  論文  参考訳（メタデータ） (2020-12-13T05:52:07Z)
• BERT-hLSTMs: BERT and Hierarchical LSTMs for Visual Storytelling [6.196023076311228]
  文レベルと単語レベルのセマンティクスを別々にモデル化する新しい階層型ビジュアルストーリーテリングフレームワークを提案する。 次に、階層型LSTMネットワークを用いて、下位LSTMはBERTからの文ベクトル表現を入力として受け取り、画像に対応する文間の依存関係を学習し、上位LSTMは対応する単語ベクトル表現を生成する。 実験の結果,我々のモデルはBLEUとCIDErの自動評価基準において,最も密接に関連するベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2020-12-03T18:07:28Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• Improving Bi-LSTM Performance for Indonesian Sentiment Analysis Using Paragraph Vector [0.0]
  Bidirectional Long Short-Term Memory Network (Bi-LSTM) は感情分類タスクにおいて有望な性能を示した。 本稿では,Bi-LSTMの付加的な入力特徴として,段落ベクトルと呼ばれる既存の文書表現手法を提案する。
  論文  参考訳（メタデータ） (2020-09-12T03:43:30Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
  S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。 そこで本研究では,S-LSTMの深度適応機構を提案する。
  論文  参考訳（メタデータ） (2020-02-29T03:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。