Fugu-MT 論文翻訳(概要): It's Difficult to be Neutral -- Human and LLM-based Sentiment Annotation of Patient Comments

論文の概要: It's Difficult to be Neutral -- Human and LLM-based Sentiment Annotation of Patient Comments

arxiv url: http://arxiv.org/abs/2404.18832v1
Date: Mon, 29 Apr 2024 16:19:47 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 12:58:45.697700
Title: It's Difficult to be Neutral -- Human and LLM-based Sentiment Annotation of Patient Comments
Title（参考訳）: 人間とLLMに基づく患者コメントの感性アノテーションは中性であることが困難である
Authors: Petter Mæhlum, David Samuel, Rebecka Maria Norman, Elma Jelin, Øyvind Andresen Bjertnæs, Lilja Øvrelid, Erik Velldal,
Abstract要約: 本稿では,ノルウェー公衆衛生研究所が収集した患者調査において,感情アノテーションを自由テキストコメントに追加する取り組みについて述べる。我々は,大型言語モデル (LLM) をアノテーションとして,人間のアノテーションの代替候補として評価する。ゼロショットの実行であっても、モデルはバイナリ感情のベースラインよりもはるかに高いパフォーマンスを保っていますが、完全なデータセット上の人間アノテータと競合することはできません。
参考スコア（独自算出の注目度）: 8.1322714530579
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Sentiment analysis is an important tool for aggregating patient voices, in order to provide targeted improvements in healthcare services. A prerequisite for this is the availability of in-domain data annotated for sentiment. This article documents an effort to add sentiment annotations to free-text comments in patient surveys collected by the Norwegian Institute of Public Health (NIPH). However, annotation can be a time-consuming and resource-intensive process, particularly when it requires domain expertise. We therefore also evaluate a possible alternative to human annotation, using large language models (LLMs) as annotators. We perform an extensive evaluation of the approach for two openly available pretrained LLMs for Norwegian, experimenting with different configurations of prompts and in-context learning, comparing their performance to human annotators. We find that even for zero-shot runs, models perform well above the baseline for binary sentiment, but still cannot compete with human annotators on the full dataset.
Abstract（参考訳）: センチメント分析は、患者の声を集約する重要なツールであり、医療サービスのターゲットとなる改善を提供する。これの前提条件は、感情にアノテートされたドメイン内のデータが利用できることだ。本稿では,ノルウェー公衆衛生研究所(NIPH)が収集した患者調査において,感情アノテーションを自由テキストコメントに追加する取り組みについて述べる。しかし、特にドメインの専門知識を必要とする場合、アノテーションは時間がかかり、リソース集約的なプロセスになり得る。そこで我々は,大型言語モデル (LLM) をアノテーションとして,人間のアノテーションに代わる可能性も評価した。ノルウェーの2つのオープンな事前訓練型LLMに対するアプローチを広範囲に評価し、プロンプトの異なる構成とコンテキスト内学習を試行し、その性能を人間のアノテーションと比較した。ゼロショットの実行であっても、モデルはバイナリ感情のベースラインよりもはるかに高いパフォーマンスを保っていますが、完全なデータセット上の人間アノテータと競合することはできません。

関連論文リスト

Mitigating Biases to Embrace Diversity: A Comprehensive Annotation Benchmark for Toxic Language [0.0]
本研究では、人文科学研究に基礎を置く規範的ベンチマークを導入し、攻撃的言語の一貫性のないラベル付けを確実にする。我々は、人間と言語モデル(LLM)アノテーションのアノテーション間のより高いアノテータ合意を達成するために、2つの新しいアノテートデータセットをコントリビュートする。
論文参考訳（メタデータ） (2024-10-17T08:10:24Z)
UniSumEval: Towards Unified, Fine-Grained, Multi-Dimensional Summarization Evaluation for LLMs [19.097842830790405]
要約品質評価のための既存のベンチマークでは、様々な入力シナリオが欠如し、狭い範囲に集中することが多い。 We create UniSumEval benchmark, which extends the range of input context and provide fine-fine, multi-dimensional annotations。
論文参考訳（メタデータ） (2024-09-30T02:56:35Z)
A Hybrid Approach To Aspect Based Sentiment Analysis Using Transfer Learning [3.30307212568497]
本稿では,移動学習を用いたアスペクトベース感性分析のためのハイブリッド手法を提案する。このアプローチは、大きな言語モデル(LLM)と従来の構文的依存関係の両方の長所を利用して、弱い教師付きアノテーションを生成することに焦点を当てている。
論文参考訳（メタデータ） (2024-03-25T23:02:33Z)
Evaluating Webcam-based Gaze Data as an Alternative for Human Rationale Annotations [14.915881495753121]
我々は、ウェブカメラによる視線追跡記録の形で、重要度を評価する際に有効な選択肢があるかどうかを議論する。本研究では,視線データから得られる全視線時間,視線エントロピー,復号精度などの付加情報を評価する。この結果から,視線データは課題の難易度を推定するために活用できる貴重な言語学的洞察を提供する可能性が示唆された。
論文参考訳（メタデータ） (2024-02-29T13:09:26Z)
SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文参考訳（メタデータ） (2023-10-27T06:48:48Z)
CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文参考訳（メタデータ） (2023-10-24T08:56:49Z)
Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
論文参考訳（メタデータ） (2023-07-05T20:16:20Z)
Cross-lingual Approaches for the Detection of Adverse Drug Reactions in German from a Patient's Perspective [3.8233498951276403]
患者生成内容におけるドイツ逆薬物反応検出のための最初のコーパスを提示する。データはドイツの患者フォーラムから4,169件の注釈付き文書から成っている。
論文参考訳（メタデータ） (2022-08-03T12:52:01Z)
Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
論文参考訳（メタデータ） (2021-06-11T20:15:21Z)
Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文参考訳（メタデータ） (2020-10-13T21:33:24Z)
Learning Contextualized Document Representations for Healthcare Answer Retrieval [68.02029435111193]
コンテキスト談話ベクトル(英: Contextual Discourse Vectors、CDV)は、長文からの効率的な回答検索のための分散文書表現である。本モデルでは,階層型LSTMレイヤとマルチタスクトレーニングを併用したデュアルエンコーダアーキテクチャを用いて,臨床エンティティの位置と文書の談話に沿った側面をエンコードする。我々の一般化モデルは、医療パスランキングにおいて、最先端のベースラインを著しく上回っていることを示す。
論文参考訳（メタデータ） (2020-02-03T15:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。