論文の概要: WhoSaidIt: Human-LLM Collaborative Annotation for Text-Based Multilingual Speaker-Attribute Classification

• arxiv url: http://arxiv.org/abs/2605.26070v1
• Date: Mon, 25 May 2026 17:37:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.548514
• Title: WhoSaidIt: Human-LLM Collaborative Annotation for Text-Based Multilingual Speaker-Attribute Classification
• Title（参考訳）: WhoSaidIt:テキストに基づく多言語話者属性分類のためのHuman-LLM協調アノテーション
• Authors: Lingyu Gao, Will Monroe, David Smith, Meghan Jemison, Jackie Lee,
• Abstract要約: 本稿では,多言語話者属性ラベルの安定化のための,人間大言語モデル(LLM)協調アノテーションフレームワークを提案する。 このフレームワークを用いて,9つの話者属性ラベルを含む多言語データセットであるWhoSaidItを構築した。
• 参考スコア（独自算出の注目度）: 2.634639188510826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Annotating speaker attributes from text is inherently ambiguous, particularly in multilingual settings where demographic and social cues are implicit and culturally variable. We propose a human-large language model (LLM) collaborative re-annotation framework for stabilizing multilingual speaker-attribute labels under practical resource constraints. Starting from a noisy corpus, we use LLMs to surface recurring annotation rationales through iterative interaction with experts, and apply disagreement-focused sampling for targeted re-annotation. Using this framework, we construct WhoSaidIt, a multilingual dataset covering nine speaker-attribute labels. We quantify divergence between original and revised annotations, benchmark recent LLMs, and analyze the effect of explicit rationales on model behavior. Our results reveal substantial cross-lingual differences in annotation decisions and demonstrate both the strengths and limitations of LLMs in speaker-attribute classification.
• Abstract（参考訳）: 話者属性をテキストからアノテートすることは本質的に曖昧であり、特に人口統計学や社会的手がかりが暗黙的かつ文化的に変動する多言語環境では顕著である。 本稿では,多言語話者属性ラベルを実用的な資源制約下で安定化するための,人間大言語モデル(LLM)協調アノテーションフレームワークを提案する。 ノイズの多いコーパスから始まり、専門家との反復的な相互作用を通じて繰り返し有意な意味論を表面化するためにLLMを使用し、目的の再注釈に不一致に着目したサンプリングを適用した。 このフレームワークを用いて,9つの話者属性ラベルを含む多言語データセットであるWhoSaidItを構築した。 我々は,オリジナルアノテーションと改訂アノテーションの差異を定量化し,最近のLCMをベンチマークし,モデル行動に対する明示的論理の影響を分析する。 本研究は, 話者属性分類におけるLLMの長所と短所を両立させ, アノテーション決定における言語間差を顕著に示すものである。

関連論文リスト

• Comparing LLM Text Annotation Skills: A Study on Human Rights Violations in Social Media Data [2.812898346527047]
  本研究では,ロシア語とウクライナ語におけるソーシャルメディア投稿のゼロショットおよび少数ショットアノテーションに対する大規模言語モデル(LLM)の機能について検討した。 これらのモデルの有効性を評価するため、それらのアノテーションは、人間の二重注釈付きラベルのゴールドスタンダードセットと比較される。 この研究は、各モデルが示すエラーと不一致のユニークなパターンを探求し、その強み、制限、言語間適応性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-15T13:10:47Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• Mitigating Biases to Embrace Diversity: A Comprehensive Annotation Benchmark for Toxic Language [0.0]
  本研究では、人文科学研究に基礎を置く規範的ベンチマークを導入し、攻撃的言語の一貫性のないラベル付けを確実にする。 我々は、人間と言語モデル(LLM)アノテーションのアノテーション間のより高いアノテータ合意を達成するために、2つの新しいアノテートデータセットをコントリビュートする。
  論文  参考訳（メタデータ） (2024-10-17T08:10:24Z)
• Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
  スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。 様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
  論文  参考訳（メタデータ） (2024-06-20T18:58:11Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Multilingual Word Sense Disambiguation with Unified Sense Representation [55.3061179361177]
  本稿では,知識と教師付き多言語単語センス曖昧化(MWSD)システムを提案する。 我々は複数の言語に統一されたセンス表現を構築し、リッチソース言語から貧しい言語へアノテーションを転送することでMWSDのアノテーション不足問題に対処する。 SemEval-13およびSemEval-15データセットの評価により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-10-14T01:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。