論文の概要: Can Third-parties Read Our Emotions?

• arxiv url: http://arxiv.org/abs/2504.18673v1
• Date: Fri, 25 Apr 2025 19:52:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.939809
• Title: Can Third-parties Read Our Emotions?
• Title（参考訳）: 第三者は私たちの感情を読むことができるのか?
• Authors: Jiayi Li, Yingfan Zhou, Pranav Narayanan Venkit, Halima Binte Islam, Sneha Arya, Shomir Wilson, Sarah Rajtmajer,
• Abstract要約: 本研究では,サードパーティのアノテーションと第三者の感情ラベルを直接比較する感情認識タスクの実験を行う。 その結果,サードパーティのアノテーションには大きな制限が認められた。 また,第1の著者と第3のアノテータとの人口統計学的類似性により,アノテーション性能が向上することを見出した。
• 参考スコア（独自算出の注目度）: 6.619315067108542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Processing tasks that aim to infer an author's private states, e.g., emotions and opinions, from their written text, typically rely on datasets annotated by third-party annotators. However, the assumption that third-party annotators can accurately capture authors' private states remains largely unexamined. In this study, we present human subjects experiments on emotion recognition tasks that directly compare third-party annotations with first-party (author-provided) emotion labels. Our findings reveal significant limitations in third-party annotations-whether provided by human annotators or large language models (LLMs)-in faithfully representing authors' private states. However, LLMs outperform human annotators nearly across the board. We further explore methods to improve third-party annotation quality. We find that demographic similarity between first-party authors and third-party human annotators enhances annotation performance. While incorporating first-party demographic information into prompts leads to a marginal but statistically significant improvement in LLMs' performance. We introduce a framework for evaluating the limitations of third-party annotations and call for refined annotation practices to accurately represent and model authors' private states.
• Abstract（参考訳）: 自然言語処理タスクは、著者のプライベートな状態(例えば、文章から感情や意見など)を推測することを目的としており、典型的には、サードパーティのアノテータによって注釈付けされたデータセットに依存している。 しかし、サードパーティのアノテータが著者のプライベートステートを正確にキャプチャできるという仮定はほとんど検討されていない。 本研究では、第三者のアノテーションと第三者の感情ラベルを直接比較する感情認識タスクに関する人体実験について述べる。 著者の私的状態を忠実に表現するために,人間のアノテーションや大言語モデル(LLM)が提供されるか,第三者のアノテーションに重大な制限があることが,本研究で明らかになった。 しかし、LSMはボードのほぼ全域で人間のアノテータよりも優れています。 さらに、サードパーティのアノテーション品質を改善する方法についても検討する。 また,第1の著者と第3のアノテータとの人口統計学的類似性により,アノテーション性能が向上することを見出した。 ファーストパーティの人口統計情報をプロンプトに組み込むと、LSMのパフォーマンスは極端に統計的に大幅に向上する。 著者のプライベートな状態を正確に表現し、モデル化するために、サードパーティのアノテーションの制限を評価するためのフレームワークを導入し、洗練されたアノテーションプラクティスを要求します。

関連論文リスト

• Large Language Models as Span Annotators [5.488183187190419]
  spanアノテーションは改善をガイドし、洞察を提供する。 最近まで、スパンアノテーションは人間のアノテーションや微調整エンコーダモデルに限られていた。 大型言語モデル(LLM)は実装が簡単で、人間のアノテータよりもコスト効率が高いことを示す。
  論文  参考訳（メタデータ） (2025-04-11T17:04:51Z)
• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• It's Difficult to be Neutral -- Human and LLM-based Sentiment Annotation of Patient Comments [8.1322714530579]
  本稿では,ノルウェー公衆衛生研究所が収集した患者調査において,感情アノテーションを自由テキストコメントに追加する取り組みについて述べる。 我々は,大型言語モデル (LLM) をアノテーションとして,人間のアノテーションの代替候補として評価する。 ゼロショットの実行であっても、モデルはバイナリ感情のベースラインよりもはるかに高いパフォーマンスを保っていますが、完全なデータセット上の人間アノテータと競合することはできません。
  論文  参考訳（メタデータ） (2024-04-29T16:19:47Z)
• Can Large Language Models Identify Authorship? [16.35265384114857]
  大規模言語モデル(LLM)は、推論と問題解決の特別な能力を示している。 1) LLM はゼロショット・エンド・ツー・エンドのオーサシップ検証を効果的に行うことができるか? 2) LLM は,複数の候補作家(例えば,10,20)の著者を正確に帰属させることができるか?
  論文  参考訳（メタデータ） (2024-03-13T03:22:02Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• Automated Evaluation of Personalized Text Generation using Large Language Models [38.2211640679274]
  生成したテキストの3つの主要な意味的側面(パーソナライズ、品質、関連性)を抽出し、これらの側面を自動的に測定する新しい評価手法であるAuPELを提案する。 既存の評価指標と比較して、AuPELはパーソナライズ能力に基づいてモデルの識別とランク付けを行うだけでなく、このタスクに対する信頼できる一貫性と効率を示す。
  論文  参考訳（メタデータ） (2023-10-17T21:35:06Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Entity Disambiguation with Entity Definitions [50.01142092276296]
  ローカルモデルはEntity Disambiguation (ED)で最近驚くべきパフォーマンスを達成した それまでの研究は、各候補者のテキスト表現として、ウィキペディアのタイトルのみを使うことに限られていた。 本稿では、この制限に対処し、より表現力のあるテキスト表現がそれを緩和できる範囲について検討する。 提案する6つのベンチマークのうち2つに新たな技術の現状を報告し,未知のパターンに対する一般化能力を強く改善する。
  論文  参考訳（メタデータ） (2022-10-11T17:46:28Z)
• PART: Pre-trained Authorship Representation Transformer [64.78260098263489]
  文書を書く著者は、語彙、レジストリ、句読点、ミススペル、絵文字の使用など、テキスト内での識別情報をインプリントする。 以前の作品では、手作りのフィーチャや分類タスクを使用して著者モデルをトレーニングし、ドメイン外の著者に対するパフォーマンスの低下につながった。 セマンティクスの代わりにtextbfauthorship の埋め込みを学習するために、対照的に訓練されたモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-30T11:08:39Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。