論文の概要: Enhanced Aspect-Based Sentiment Analysis Models with Progressive Self-supervised Attention Learning

• arxiv url: http://arxiv.org/abs/2103.03446v1
• Date: Fri, 5 Mar 2021 02:50:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-08 14:54:16.979542
• Title: Enhanced Aspect-Based Sentiment Analysis Models with Progressive Self-supervised Attention Learning
• Title（参考訳）: プログレッシブ自己監督型注意学習によるアスペクトベース感情分析モデルの強化
• Authors: Jinsong Su, Jialong Tang, Hui Jiang, Ziyao Lu, Yubin Ge, Linfeng Song, Deyi Xiong, Le Sun, Jiebo Luo
• Abstract要約: アスペクトベース感情分析(absa)では、多くのニューラルモデルに感情予測に対する各文脈単語の寄与を定量化するための注意機構が備わっている。 注目ABSAモデルに対する自己監督型注意学習の進歩的アプローチを提案する。 提案手法を3つの最先端の神経ABSAモデルに統合する。
• 参考スコア（独自算出の注目度）: 103.0064298630794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In aspect-based sentiment analysis (ABSA), many neural models are equipped with an attention mechanism to quantify the contribution of each context word to sentiment prediction. However, such a mechanism suffers from one drawback: only a few frequent words with sentiment polarities are tended to be taken into consideration for final sentiment decision while abundant infrequent sentiment words are ignored by models. To deal with this issue, we propose a progressive self-supervised attention learning approach for attentional ABSA models. In this approach, we iteratively perform sentiment prediction on all training instances, and continually learn useful attention supervision information in the meantime. During training, at each iteration, context words with the highest impact on sentiment prediction, identified based on their attention weights or gradients, are extracted as words with active/misleading influence on the correct/incorrect prediction for each instance. Words extracted in this way are masked for subsequent iterations. To exploit these extracted words for refining ABSA models, we augment the conventional training objective with a regularization term that encourages ABSA models to not only take full advantage of the extracted active context words but also decrease the weights of those misleading words. We integrate the proposed approach into three state-of-the-art neural ABSA models. Experiment results and in-depth analyses show that our approach yields better attention results and significantly enhances the performance of all three models. We release the source code and trained models at https://github.com/DeepLearnXMU/PSSAttention.
• Abstract（参考訳）: アスペクトベース感情分析(absa)では、多くのニューラルモデルに感情予測に対する各文脈単語の寄与を定量化するための注意機構が備わっている。 しかし、このようなメカニズムは1つの欠点に悩まされる: 感情の極性を持つ単語は、モデルによって無視されるが、最終的な感情決定のために考慮される傾向にある。 そこで本研究では,注目ABSAモデルに対する自己監督型注意学習手法を提案する。 このアプローチでは,すべてのトレーニングインスタンスで反復的に感情予測を行い,その間,有用な注意監督情報を継続的に学習する。 トレーニング中、各反復において、注意重みや勾配に基づいて識別された感情予測に最も影響を与える文脈単語を、各インスタンスの正誤予測にアクティブ/誤認の影響のある単語として抽出する。 このように抽出された単語は、その後のイテレーションでマスキングされる。 抽出した単語をABSAモデルの精錬に利用するために,従来の訓練目標を正規化用語で強化し,ABSAモデルが抽出したアクティブな文脈語を最大限に活用するだけでなく,誤解を招く単語の重みを減少させるように促す。 提案手法を3つの最先端の神経ABSAモデルに統合する。 実験結果と深部分析の結果から,本手法はより注意度を高め,3モデルすべての性能を著しく向上させることが示された。 ソースコードとトレーニングされたモデルをhttps://github.com/deeplearnxmu/pssattentionでリリースします。

関連論文リスト

• Let's Rectify Step by Step: Improving Aspect-based Sentiment Analysis with Diffusion Models [36.482634643246264]
  本稿では,段階的に段階的にアスペクトを抽出するABSAに適した新しい拡散モデルを提案する。 DiffusionABSAは、トレーニングプロセスにおけるアスペクト用語に徐々にノイズを加え、その後、これらの用語を徐々に逆の方法で復元する認知プロセスを学ぶ。 境界を推定するために,構文認識型時間的注意機構によって強化された認知ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2024-02-23T12:35:43Z)
• Are We Falling in a Middle-Intelligence Trap? An Analysis and Mitigation of the Reversal Curse [73.65112477688353]
  近年の研究では「逆の呪い」として知られる大きな言語モデルにおける現象が強調されている。 我々は、逆の呪いは特定のモデルの訓練目的の結果であると主張している。 本稿では、逆の呪いを軽減するために、新しい訓練手法BI Casual Language Modeling Optimization (BICO)を提案する。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• What Do Deep Saliency Models Learn about Visual Attention? [28.023464783469738]
  本稿では,サリエンシモデルによって学習された暗黙的特徴に光を当てる新しい分析フレームワークを提案する。 提案手法では,これらの暗黙的特徴を意味的属性に明示的に一致した解釈可能なベースに分解する。
  論文  参考訳（メタデータ） (2023-10-14T23:15:57Z)
• Explaining Hate Speech Classification with Model Agnostic Methods [0.9990687944474738]
  本研究の目的は、ヘイトスピーチ予測と、その決定を支援するためにシステムによって生成された説明とのギャップを埋めることである。 これは、まずテキストの分類を予測し、その後、ポストホック、モデル非依存、代理的解釈可能性アプローチを提供することによって達成されている。
  論文  参考訳（メタデータ） (2023-05-30T19:52:56Z)
• Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis [67.41078214475341]
  ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。 具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。 次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
  論文  参考訳（メタデータ） (2022-03-30T14:48:46Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Improving Aspect-based Sentiment Analysis with Gated Graph Convolutional Networks and Syntax-based Regulation [89.38054401427173]
  Aspect-based Sentiment Analysis (ABSA) は、特定の側面に向けて文の感情極性を予測する。 依存関係ツリーは、ABSAの最先端のパフォーマンスを生成するために、ディープラーニングモデルに統合することができる。 本稿では,この2つの課題を克服するために,グラフに基づく新しいディープラーニングモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-26T07:36:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。