論文の概要: Single Ground Truth Is Not Enough: Adding Flexibility to Aspect-Based Sentiment Analysis Evaluation

• arxiv url: http://arxiv.org/abs/2410.09807v2
• Date: Wed, 12 Feb 2025 04:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:04.810874
• Title: Single Ground Truth Is Not Enough: Adding Flexibility to Aspect-Based Sentiment Analysis Evaluation
• Title（参考訳）: 単一地盤の真理は十分ではない - アスペクトベースの感性分析評価に柔軟性を加える
• Authors: Soyoung Yang, Hojun Cho, Jiyoung Lee, Sohee Yoon, Edward Choi, Jaegul Choo, Won Ik Cho,
• Abstract要約: アスペクトベースの感情分析(ABSA)は難しい課題である。 従来の評価手法は、接地真理(GT)を1つの項に制限することが多い。 アスペクトと意見の代替として有効な用語を追加することで、既存の評価セットを拡張する、新しく完全に自動化されたパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 41.66053021998106
• License:
• Abstract: Aspect-based sentiment analysis (ABSA) is a challenging task of extracting sentiments along with their corresponding aspects and opinion terms from the text. The inherent subjectivity of span annotation makes variability in the surface forms of extracted terms, complicating the evaluation process. Traditional evaluation methods often constrain ground truths (GT) to a single term, potentially misrepresenting the accuracy of semantically valid predictions that differ in surface form. To address this limitation, we propose a novel and fully automated pipeline that expands existing evaluation sets by adding alternative valid terms for aspect and opinion. Our approach facilitates an equitable assessment of language models by accommodating multiple-answer candidates, resulting in enhanced human agreement compared to single-answer test sets (achieving up to a 10\%p improvement in Kendall's Tau score). Experimental results demonstrate that our expanded evaluation set helps uncover the capabilities of large language models (LLMs) in ABSA tasks, which is concealed by the single-answer GT sets. Consequently, our work contributes to the development of a flexible evaluation framework for ABSA by embracing diverse surface forms to span extraction tasks in a cost-effective and reproducible manner. Our code and dataset is open at https://github.com/dudrrm/zoom-in-n-out-absa.
• Abstract（参考訳）: アスペクトベース感情分析(ABSA)は、感情をテキストから対応する側面や意見条件とともに抽出する難しい課題である。 スパンアノテーションの固有の主観性は、抽出された用語の表面形態にばらつきをもたらし、評価過程を複雑にする。 従来の評価手法では、接地真理(GT)を1つの項に制限することが多く、表面形が異なる意味論的に有効な予測の精度を誤っている可能性がある。 この制限に対処するために、アスペクトと意見のための代替の有効な用語を追加することで、既存の評価セットを拡張する、新しく完全に自動化されたパイプラインを提案する。 提案手法は,複数問合せ候補を収容することで,言語モデルの公平な評価を容易にし,その結果,単問合せテストセット(Kendall's Tau スコアの最大 10 % の改善)に比べて人的合意が向上する。 ABSAタスクにおける大規模言語モデル(LLM)の能力を明らかにするのに有効であることを示す実験結果が得られた。 その結果,ABSA のためのフレキシブルな評価フレームワークの開発に寄与し,多種多様な表面形状を取り入れて抽出作業に費用対効果と再現性を持たせた。 私たちのコードとデータセットはhttps://github.com/dudrrm/zoom-in-n-out-absa.comで公開されています。

関連論文リスト

• A Hybrid Approach To Aspect Based Sentiment Analysis Using Transfer Learning [3.30307212568497]
  本稿では,移動学習を用いたアスペクトベース感性分析のためのハイブリッド手法を提案する。 このアプローチは、大きな言語モデル(LLM)と従来の構文的依存関係の両方の長所を利用して、弱い教師付きアノテーションを生成することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-25T23:02:33Z)
• Exploiting Adaptive Contextual Masking for Aspect-Based Sentiment Analysis [0.6827423171182154]
  アスペクトベース知覚分析(Aspect-Based Sentiment Analysis、ABSA)は、与えられたテキストから多面的側面、意見、感情を抽出する問題である。 本稿では,ABSAのアスペクト・ターム抽出・アスペクト・センティメント・サブタスクを支援するために,コンテキストに基づく無関係なトークンを除去する適応マスキング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T11:33:09Z)
• SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
  我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
  論文  参考訳（メタデータ） (2023-10-27T06:48:48Z)
• Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis [67.41078214475341]
  ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。 具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。 次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
  論文  参考訳（メタデータ） (2022-03-30T14:48:46Z)
• BERT-ASC: Auxiliary-Sentence Construction for Implicit Aspect Learning in Sentiment Analysis [4.522719296659495]
  本稿ではアスペクト分類とアスペクトベース感情サブタスクに対処する統合フレームワークを提案する。 コーパスのセマンティック情報を用いて暗黙的側面のための補助文を構築する機構を導入する。 次に、BERTはアスペクト自体ではなく、この補助文に応答してアスペクト固有の表現を学ぶことを推奨する。
  論文  参考訳（メタデータ） (2022-03-22T13:12:27Z)
• SIFN: A Sentiment-aware Interactive Fusion Network for Review-based Item Recommendation [48.1799451277808]
  本稿では、レビューに基づく項目推薦のための感性認識型インタラクティブフュージョンネットワーク(SIFN)を提案する。 まず、BERTを介してユーザ/イテムレビューをエンコードし、各レビューのセマンティックな特徴を抽出する軽量な感情学習者を提案する。 そこで我々は,感情学習者が明示的な感情ラベルを用いて感情認識特徴を抽出するための感情予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-08-18T08:04:38Z)
• Improving BERT Performance for Aspect-Based Sentiment Analysis [3.5493798890908104]
  Aspect-Based Sentiment Analysis (ABSA)は、市場製品に関する消費者の意見を調査する。 製品レビューで表現された感情のタイプだけでなく、感情のタイプも調査する。 本稿では,提案モデルを適用することで,BERTモデルのさらなるトレーニングの必要性がなくなることを示す。
  論文  参考訳（メタデータ） (2020-10-22T13:52:18Z)
• A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
  本稿では,VisDialデータセットの改訂評価手法を提案する。 モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。 DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
  論文  参考訳（メタデータ） (2020-04-20T13:26:45Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)
• Latent Opinions Transfer Network for Target-Oriented Opinion Words Extraction [63.70885228396077]
  資源豊富なレビュー評価分類データセットから低リソースタスクTOWEへ意見知識を伝達する新しいモデルを提案する。 我々のモデルは、他の最先端手法よりも優れた性能を達成し、意見の知識を伝達することなく、ベースモデルを大幅に上回る。
  論文  参考訳（メタデータ） (2020-01-07T11:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。