論文の概要: The Impact of Annotator Personas on LLM Behavior Across the Perspectivism Spectrum

• arxiv url: http://arxiv.org/abs/2508.17164v1
• Date: Sat, 23 Aug 2025 23:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.379424
• Title: The Impact of Annotator Personas on LLM Behavior Across the Perspectivism Spectrum
• Title（参考訳）: アノテーションのパーソナがパースペクティビズムスペクトル全体にわたるLCM行動に及ぼす影響
• Authors: Olufunke O. Sarumi, Charles Welch, Daniel Braun, Jörg Schlötterer,
• Abstract要約: ヘイトスピーチと虐待を注釈するLarge Language Models(LLMs)の能力について検討する。 我々は、パースペクティブ・モデリングのための既存のアノテータ・モデリング技術に対するLCM生成アノテーションを評価する。 強いパースペクティビズムに合わせたよりパーソナライズされたデータセットに対して、LLMアノテータモデリングの性能は近づいたが、人間のアノテータには及ばなかった。
• 参考スコア（独自算出の注目度）: 9.524258410525304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we explore the capability of Large Language Models (LLMs) to annotate hate speech and abusiveness while considering predefined annotator personas within the strong-to-weak data perspectivism spectra. We evaluated LLM-generated annotations against existing annotator modeling techniques for perspective modeling. Our findings show that LLMs selectively use demographic attributes from the personas. We identified prototypical annotators, with persona features that show varying degrees of alignment with the original human annotators. Within the data perspectivism paradigm, annotator modeling techniques that do not explicitly rely on annotator information performed better under weak data perspectivism compared to both strong data perspectivism and human annotations, suggesting LLM-generated views tend towards aggregation despite subjective prompting. However, for more personalized datasets tailored to strong perspectivism, the performance of LLM annotator modeling approached, but did not exceed, human annotators.
• Abstract（参考訳）: 本研究では,強弱データパースペクティビズムスペクトルの中で,アノテータペルソナを予め定義しつつ,ヘイトスピーチや嫌悪感をアノテートするLarge Language Models(LLMs)の能力について検討する。 我々は、視点モデリングのための既存のアノテータモデリング技術に対するLCM生成アノテーションの評価を行った。 以上の結果から, LLMはペルソナの属性を選択的に用いていることが明らかとなった。 原型アノテータを同定し,元のヒトアノテータとのアライメントの程度が変化するペルソナの特徴について検討した。 データパースペクティビズムパラダイムでは、強力なデータパースペクティビズムと人間のアノテーションの両方と比較して、弱いデータパースペクティビズムの下で、アノテータ情報に明示的に依存しないアノテータモデリング技術が、主観的プロンプトにもかかわらず、LCM生成のビューは集約する傾向にあることを示唆している。 しかし、よりパーソナライズされたデータセットに対して、LLMアノテータモデルの性能はヒトアノテータに近づいたが、ヒトアノテータには及ばなかった。

関連論文リスト

• VIS-Shepherd: Constructing Critic for LLM-based Data Visualization Generation [17.6462454905092]
  MLLM(Multimodal Large Language Model)をベースとした評価モデルであるVIS-Shepherdを紹介する。 当社のアプローチの核心は、高品質な可視化基準データセットを構築するためのフレームワークです。 実験の結果,オープンソースMLLMモデルでは,小型(7Bパラメータ)のMLLMモデルでも大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2025-06-16T10:15:38Z)
• Evaluating how LLM annotations represent diverse views on contentious topics [3.405231040967506]
  生成型大規模言語モデル (LLM) は, 同一データセット内の同じ階層カテゴリーにおいて, 同一方向のバイアスを受ける傾向があることを示す。 自動データアノテーションタスクにLLMを用いた研究者や実践者にとっての意義について論じる。
  論文  参考訳（メタデータ） (2025-03-29T22:53:15Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  データ構築とモデルチューニングを改善するためのフレームワークPersLLMを提案する。 データ利用が不十分な場合には、Chain-of-Thoughtプロンプトやアンチインダクションといった戦略を取り入れます。 厳密な振舞いパターンを設計し,モデルの性格の特異性とダイナミズムを高めるために自動DPOを導入する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
  人間の判断の代わりにLPMを用いてNLPモデルを評価する傾向が高まっている。 JUDGE-BENCHは20個のNLPデータセットのコレクションで、人間のアノテーションで、幅広い評価された特性やデータの種類をカバーしています。 アノテーションを複製できるため、オープンウェイトモデルとプロプライエタリモデルの両方をカバーする11の現在のLCMを評価します。
  論文  参考訳（メタデータ） (2024-06-26T14:56:13Z)
• A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
  近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
  論文  参考訳（メタデータ） (2024-06-17T03:52:51Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)
• Personalized Large Language Models [1.0881867638866944]
  本稿では,大規模言語モデル(LLM)のパーソナライズ手法について検討する。 その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。 感情認識とヘイトスピーチ検出のためのデータセットの実験は、パーソナライズされた方法で一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-02-14T15:55:30Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。