論文の概要: Tasty Burgers, Soggy Fries: Probing Aspect Robustness in Aspect-Based
Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2009.07964v4
- Date: Wed, 28 Oct 2020 08:19:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 23:27:48.814218
- Title: Tasty Burgers, Soggy Fries: Probing Aspect Robustness in Aspect-Based
Sentiment Analysis
- Title(参考訳): 美味しいバーガー、ソギーフライ:アスペクトベース感性分析におけるアスペクトロバストネスの探索
- Authors: Xiaoyu Xing, Zhijing Jin, Di Jin, Bingning Wang, Qi Zhang, and
Xuanjing Huang
- Abstract要約: アスペクトベースの感情分析(ABSA)は、テキストの特定の側面に対する感情を予測することを目的としている。
既存のABSAテストセットは、モデルが対象のアスペクトの感情を非ターゲットのアスペクトと区別できるかどうかを調査するために使用できない。
我々は、対象の側面の感情から、対象でない側面の相反する感情を解き放つための新しい例を生成する。
- 参考スコア(独自算出の注目度): 71.40390724765903
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Aspect-based sentiment analysis (ABSA) aims to predict the sentiment towards
a specific aspect in the text. However, existing ABSA test sets cannot be used
to probe whether a model can distinguish the sentiment of the target aspect
from the non-target aspects. To solve this problem, we develop a simple but
effective approach to enrich ABSA test sets. Specifically, we generate new
examples to disentangle the confounding sentiments of the non-target aspects
from the target aspect's sentiment. Based on the SemEval 2014 dataset, we
construct the Aspect Robustness Test Set (ARTS) as a comprehensive probe of the
aspect robustness of ABSA models. Over 92% data of ARTS show high fluency and
desired sentiment on all aspects by human evaluation. Using ARTS, we analyze
the robustness of nine ABSA models, and observe, surprisingly, that their
accuracy drops by up to 69.73%. We explore several ways to improve aspect
robustness, and find that adversarial training can improve models' performance
on ARTS by up to 32.85%. Our code and new test set are available at
https://github.com/zhijing-jin/ARTS_TestSet
- Abstract(参考訳): アスペクトベースの感情分析(ABSA)は、テキストの特定の側面に対する感情を予測することを目的としている。
しかし、既存のABSAテストセットは、モデルが対象のアスペクトの感情を非ターゲットのアスペクトと区別できるかどうかを調査するために使用できない。
この問題を解決するために,ABSAテストセットを充実させるシンプルな,効果的な手法を開発した。
具体的には、対象の側面の感情から対象でない側面の矛盾する感情を解き放つための新しい例を生成する。
SemEval 2014データセットに基づいて、ABSAモデルのアスペクトロバスト性に関する包括的調査として、アスペクトロバストネステストセット(ARTS)を構築した。
ARTSのデータの92%以上は、人間の評価によって、あらゆる面において高い頻度と望ましい感情を示している。
ARTSを用いて9つのABSAモデルの堅牢性を解析し、その精度が69.73%まで低下するのを驚くほど観察する。
アスペクトロバスト性を改善するいくつかの方法を模索し、敵のトレーニングがARTSのモデルの性能を最大32.85%向上させることを発見した。
私たちのコードと新しいテストセットはhttps://github.com/zhijing-jin/arts_testsetで利用可能です。
関連論文リスト
- Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。
我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。
基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
論文 参考訳(メタデータ) (2024-10-27T17:33:49Z) - Stanceformer: Target-Aware Transformer for Stance Detection [59.69858080492586]
スタンス検出は、テキストで表現されたスタンスを特定の主題やターゲットに向けて識別する。
以前の作業は、ターゲットを効果的に優先順位付けする能力に欠ける既存のトランスフォーマーモデルに依存していた。
本稿では,学習と推論の両方において,目標に対する注意を高めるターゲット対応トランスフォーマーモデルであるStanceformerを紹介する。
論文 参考訳(メタデータ) (2024-10-09T17:24:28Z) - Instruct-DeBERTa: A Hybrid Approach for Aspect-based Sentiment Analysis on Textual Reviews [2.0143010051030417]
Aspect-based Sentiment Analysis (ABSA)は自然言語処理(NLP)における重要な課題である
従来の感情分析手法は、全体的な感情を決定するのに有用だが、特定の製品やサービス機能に関する暗黙の意見を見逃すことが多い。
本稿では、レキシコンベースのアプローチから機械学習まで、ABSA方法論の進化を包括的に概観する。
論文 参考訳(メタデータ) (2024-08-23T16:31:07Z) - Deep Content Understanding Toward Entity and Aspect Target Sentiment Analysis on Foundation Models [0.8602553195689513]
Entity-Aspect Sentiment Triplet extract (EASTE)は、Aspect-Based Sentiment Analysisタスクである。
本研究は,EASTEタスクにおける高性能化を目標とし,モデルサイズ,タイプ,適応技術がタスクパフォーマンスに与える影響について検討する。
最終的には、複雑な感情分析における詳細な洞察と最先端の成果を提供する。
論文 参考訳(メタデータ) (2024-07-04T16:48:14Z) - Innovative Horizons in Aerial Imagery: LSKNet Meets DiffusionDet for
Advanced Object Detection [55.2480439325792]
本稿では,LSKNetのバックボーンをDiffusionDetヘッドに統合したオブジェクト検出モデルの詳細な評価を行う。
提案手法は平均精度(MAP)を約45.7%向上させる。
この進歩は、提案された修正の有効性を強調し、航空画像解析の新しいベンチマークを設定する。
論文 参考訳(メタデータ) (2023-11-21T19:49:13Z) - A Weak Supervision Approach for Few-Shot Aspect Based Sentiment [39.33888584498155]
豊富なラベルのないデータに対する弱みの監視は、感情分析タスクにおける数ショットのパフォーマンスを改善するために利用することができる。
ノイズの多いABSAデータセットを構築するパイプライン手法を提案し,それを用いて事前学習されたシーケンス・ツー・シーケンスモデルをABSAタスクに適用する。
提案手法は, 数ショット学習シナリオにおいて, 大幅な改良(15.84%) を示しながら, 完全な微調整性能を保っている。
論文 参考訳(メタデータ) (2023-05-19T19:53:54Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳(メタデータ) (2023-04-19T11:07:43Z) - Interventional Aspect-Based Sentiment Analysis [10.974711813144554]
本稿では,これらの要因を解消するために,バックドア調整を適用した簡易かつ効果的な手法,すなわちセンチメント調整(SENTA)を提案する。
Aspect Robustness Test Set (ARTS) データセットの実験結果から,本手法は元のテストセットの精度を維持しつつ,性能の向上を図っている。
論文 参考訳(メタデータ) (2021-04-20T07:54:29Z) - Understanding Pre-trained BERT for Aspect-based Sentiment Analysis [71.40586258509394]
本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。
アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
論文 参考訳(メタデータ) (2020-10-31T02:21:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。