論文の概要: Will Annotators Disagree? Identifying Subjectivity in Value-Laden Arguments

• arxiv url: http://arxiv.org/abs/2509.06704v1
• Date: Mon, 08 Sep 2025 13:59:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.177716
• Title: Will Annotators Disagree? Identifying Subjectivity in Value-Laden Arguments
• Title（参考訳）: アノテーションは診断するのだろうか? 価値層論における主観性を同定する
• Authors: Amir Homayounirad, Enrico Liscio, Tong Wang, Catholijn M. Jonker, Luciano C. Siebert,
• Abstract要約: 我々は、議論を動機づける人間の価値を認識するために主観性を特定する方法を探る。 実験の結果,直接主観性同定は主観的議論のフラグ付けのモデル性能を著しく向上させることがわかった。 提案手法は、個人が異なる解釈をすることができるという議論を識別し、よりニュアンスなアノテーションプロセスを促進するのに役立つ。
• 参考スコア（独自算出の注目度）: 4.62776435232425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aggregating multiple annotations into a single ground truth label may hide valuable insights into annotator disagreement, particularly in tasks where subjectivity plays a crucial role. In this work, we explore methods for identifying subjectivity in recognizing the human values that motivate arguments. We evaluate two main approaches: inferring subjectivity through value prediction vs. directly identifying subjectivity. Our experiments show that direct subjectivity identification significantly improves the model performance of flagging subjective arguments. Furthermore, combining contrastive loss with binary cross-entropy loss does not improve performance but reduces the dependency on per-label subjectivity. Our proposed methods can help identify arguments that individuals may interpret differently, fostering a more nuanced annotation process.
• Abstract（参考訳）: 複数のアノテーションを単一の真実ラベルに集約することで、特に主観性が重要な役割を果たすタスクにおいて、アノテータの不一致に対する貴重な洞察を隠蔽することができる。 本研究では,議論を動機づける人間の価値観を認識する上で,主観性を識別する手法を検討する。 主観性評価は,主観性評価と直接的主観性判定の2つの方法を評価する。 実験の結果,直接主観性同定は主観的議論のフラグ付けのモデル性能を著しく向上させることがわかった。 さらに,2値のクロスエントロピー損失と対照的な損失を組み合わせれば,性能は向上しないが,ラベルごとの主観性への依存性は減少する。 提案手法は、個人が異なる解釈をすることができるという議論を識別し、よりニュアンスなアノテーションプロセスを促進するのに役立つ。

関連論文リスト

• Investigating Subjective Factors of Argument Strength: Storytelling, Emotions, and Hedging [14.950106052554291]
  主観的感情, ストーリーテリング, ヘッジが主観的議論の質と主観的説得に及ぼす影響について検討した。 以上の結果から,ストーリーテリングとヘッジは主観的,主観的な議論の質に影響を及ぼすが,感情の影響はドメインよりも修辞的利用に依存していることがわかった。
  論文  参考訳（メタデータ） (2025-07-23T11:09:52Z)
• Multi-Perspective Stance Detection [2.8073184910275293]
  マルチパースペクティブアプローチは、単一ラベルを使用するベースラインよりも優れた分類性能が得られる。 これは、より包括的な視点を意識したAIモデルを設計することが、責任と倫理的なAIを実装するための重要な第一歩であるだけでなく、従来のアプローチよりも優れた結果を達成することも必要である。
  論文  参考訳（メタデータ） (2024-11-13T16:30:41Z)
• Understanding Self-Supervised Learning of Speech Representation via Invariance and Redundancy Reduction [0.45060992929802207]
  自己教師付き学習(SSL)は、ラベルのないデータから柔軟な音声表現を学習するための有望なパラダイムとして登場した。 本研究は,人間の知覚における冗長性低下の理論に触発されたSSL技術であるBarlow Twins(BT)を実証分析した。
  論文  参考訳（メタデータ） (2023-09-07T10:23:59Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Seeking Subjectivity in Visual Emotion Distribution Learning [93.96205258496697]
  視覚感情分析(VEA)は、人々の感情を異なる視覚刺激に向けて予測することを目的としている。 既存の手法では、集団投票プロセスにおいて固有の主観性を無視して、統合されたネットワークにおける視覚的感情分布を予測することが多い。 視覚的感情分布の主観性を調べるために,新しいテキストサブジェクティビティ評価ネットワーク(SAMNet)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T02:20:03Z)
• Towards a Holistic View on Argument Quality Prediction [3.182597245365433]
  議論の決定的な性質は、その強さまたは品質である。 議論の強さを自動推定する作業は存在するが、その範囲は狭い。 多様な領域にわたる議論品質推定の一般化能力,関連する議論マイニング課題との相互作用,および知覚された議論強度に対する感情の影響を評価する。
  論文  参考訳（メタデータ） (2022-05-19T18:44:23Z)
• Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations [6.546195629698355]
  主観的タスクに対するマルチアノテータモデルの有効性について検討する。 このアプローチは、トレーニング前にラベルをアグリゲートするよりも、同じまたは良いパフォーマンスが得られることを示す。 提案手法は予測の不確かさを推定する手段も提供し,従来の手法よりもアノテーションの不一致との相関が良好であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T03:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。