論文の概要: Trading Syntax Trees for Wordpieces: Target-oriented Opinion Words Extraction with Wordpieces and Aspect Enhancement

• arxiv url: http://arxiv.org/abs/2305.11034v1
• Date: Thu, 18 May 2023 15:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-05-19 14:26:48.281634
• Title: Trading Syntax Trees for Wordpieces: Target-oriented Opinion Words Extraction with Wordpieces and Aspect Enhancement
• Title（参考訳）: ワードピースのトレーディング構文木:ワードピースを用いたターゲット指向オピニオンワード抽出とアスペクト強調
• Authors: Samuel Mensah, Kai Sun, Nikolaos Aletras
• Abstract要約: State-of-the-the-the-art target-oriented opinion word extract (TOWE)モデルは、通常、単語レベルで動作するBERTベースのテキストエンコーダを使用する。 これらの手法は、GCN(Graph Convolutional Network)で限られたゲインを実現し、BERTワードピースの使用が困難である。 この作業は、メソッドのアーキテクチャからGCNコンポーネントを完全に取り除き、BERTワードピースの構文木を交換する。
• 参考スコア（独自算出の注目度）: 33.66973706499751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art target-oriented opinion word extraction (TOWE) models typically use BERT-based text encoders that operate on the word level, along with graph convolutional networks (GCNs) that incorporate syntactic information extracted from syntax trees. These methods achieve limited gains with GCNs and have difficulty using BERT wordpieces. Meanwhile, BERT wordpieces are known to be effective at representing rare words or words with insufficient context information. To address this issue, this work trades syntax trees for BERT wordpieces by entirely removing the GCN component from the methods' architectures. To enhance TOWE performance, we tackle the issue of aspect representation loss during encoding. Instead of solely utilizing a sentence as the input, we use a sentence-aspect pair. Our relatively simple approach achieves state-of-the-art results on benchmark datasets and should serve as a strong baseline for further research.
• Abstract（参考訳）: State-of-the-the-the-art target-oriented opinion word extract (TOWE)モデルは通常、BERTベースのテキストエンコーダを使用し、構文木から抽出された構文情報を含むグラフ畳み込みネットワーク(GCN)を使用する。 これらの手法はGCNの限られたゲインを実現し,BERTワードピースの使用が困難である。 一方、BERTワードピースは文脈情報に乏しい稀な単語や単語を表現するのに有効であることが知られている。 この問題に対処するため、この作業では、メソッドのアーキテクチャからGCNコンポーネントを完全に取り除き、BERTワードピースの構文木を交換する。 TOWE性能を向上させるために,符号化時のアスペクト表現損失の問題に取り組む。 文を入力としてのみ利用する代わりに、文とアスペクトのペアを使う。 我々の比較的単純なアプローチは、ベンチマークデータセットの最先端結果を実現し、さらなる研究の強力なベースラインとして機能するはずです。

関連論文リスト

• MarkBERT: Marking Word Boundaries Improves Chinese BERT [67.53732128091747]
  MarkBERTは、語彙を漢字として保持し、連続した単語間の境界マーカーを挿入する。 従来の単語ベースのBERTモデルと比較して、MarkBERTはテキスト分類、キーワード認識、意味的類似性タスクにおいて精度が向上している。
  論文  参考訳（メタデータ） (2022-03-12T08:43:06Z)
• Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words [50.11559460111882]
  本稿では,単語ではなく単語の語彙上で,BERTスタイルの事前学習モデルを開発する可能性について検討する。 その結果,標準的なワードピースベースのBERTと比較して,WordBERTはクローゼテストや機械読解の大幅な改善を実現していることがわかった。 パイプラインは言語に依存しないので、中国語でWordBERTを訓練し、5つの自然言語理解データセットで大きな利益を得る。
  論文  参考訳（メタデータ） (2022-02-24T15:15:48Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification [2.982218441172364]
  グラフベース感性分類(ABSC)アプローチは、事前学習言語モデル(PLM)から文脈単語を埋め込んだ場合に、最先端の結果をもたらす。 本稿では,BERT の PLM からの文法的逐次的特徴と依存グラフからの構文的知識を統合する新しいモデル BERT4GCN を提案する。
  論文  参考訳（メタデータ） (2021-10-01T02:03:43Z)
• An Empirical Study on Leveraging Position Embeddings for Target-oriented Opinion Words Extraction [13.765146062545048]
  ToWE(Target-oriented opinion words extract)は、ターゲット指向の感情分析の新しいサブタスクである。 本稿では,BiLSTMに基づくモデルを用いて,位置情報を単語表現に効果的にエンコードできることを示す。 また,構文情報を組み込んだグラフ畳み込みネットワーク(GCN)を用いて,単語表現の強化を行う。
  論文  参考訳（メタデータ） (2021-09-02T22:49:45Z)
• Dependency Parsing based Semantic Representation Learning with Graph Neural Network for Enhancing Expressiveness of Text-to-Speech [49.05471750563229]
  文の依存性関係を考慮したグラフニューラルネットワークに基づく意味表現学習手法を提案する。 提案手法は,LJSpeech と Bilzzard Challenge 2013 のデータセットにおいて,バニラBERT の機能をベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-14T13:09:51Z)
• Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies [0.0]
  言語間の単語感覚の曖昧さ (WSD) は、与えられた文脈にまたがるあいまいな単語の曖昧さに対処する。 BERT埋め込みモデルは、単語の文脈情報に有効であることが証明されている。 このプロジェクトは、構文情報がどのようにBERT埋め込みに追加され、セマンティクスと構文を組み込んだ単語埋め込みの両方をもたらすかを調査します。
  論文  参考訳（メタデータ） (2020-12-09T20:22:11Z)
• CharacterBERT: Reconciling ELMo and BERT for Word-Level Open-Vocabulary Representations From Characters [14.956626084281638]
  本稿では,ワードピースシステムを完全に廃止し,代わりに文字を照会して全単語を表現するために,文字CNNモジュールを使用するBERTの新たな変種を提案する。 この新モデルにより,様々な医療領域タスクにおけるBERTの性能が向上すると同時に,頑健で単語レベルのオープン語彙表現が実現できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-20T15:58:53Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models [43.18970770343777]
  BERTと呼ばれる文脈化された単語表現は、非常に少数のNLPタスクで最先端のパフォーマンスを達成する。 しかし、BERTベースの単語モデルから高品質な文表現を生成することは、オープンな問題である。 本稿では,単語表現に代表される空間の幾何学的解析により,BERTに基づく単語モデルを切り離すことにより,新しい文埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2020-02-16T19:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。