論文の概要: NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse

• arxiv url: http://arxiv.org/abs/2610.15732v1
• Date: Sun, 11 Oct 2026 16:12:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:01:24.855315
• Title: NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse
• Title（参考訳）: NepPlural: ネパール移動談話におけるペルソナアノテーションのための人間によるベンチマーク
• Abstract要約: ネッププラウラル(NepPlural)は、ネパールの公的な言説において、競合する社会文化人格をモデル化するための人為的なベンチマークである。 チャットインターフェースを通じてバッチで収集されたラベルは、モデル間合意のほぼ一致にしか達しない。 3つのモデルで59～77%の忠実度を持つ1つのペルソナ軸を採用するが、完全なペルソナを構成するのは33%である。
• 参考スコア（独自算出の注目度）: 0.19116784879310025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pluralistic alignment asks that language models faithfully represent a society's diverse, competing values rather than collapse them into one dominant viewpoint, yet flagship pluralistic-alignment datasets remain heavily skewed toward Western respondents. We introduce NepPlural, a human-anchored benchmark for modelling competing socio-cultural personas in Nepali public discourse on youth migration and brain drain. We curate 2,148 code-mixed (Devanagari, Romanized Nepali, English) YouTube comments, annotate them along a four-axis persona taxonomy (Intent, Primary Driver, Value Orientation, Affect) plus an explicit No-Persona class, and build a 300-comment gold set labelled independently by three native Nepali speakers (mean Fleiss' $κ\approx 0.55$). Using this gold set to audit automatic annotation, we find that LLM annotation reliability is driven by protocol. Labels collected in batches through chat interfaces reach only near-chance inter-model agreement ($κ\approx 0.17$). Annotating one comment at a time raises agreement above the native-speaker level ($κ\approx 0.72$), but consistency is not validity: under a forced-choice schema, models agree on personas for the 39% of comments native speakers judge to express none, keeping macro-F1 against human gold near 0.50. Allowing abstention resolves this: models recover No-Persona comments with F1 of 0.79 to 0.87 and, against leave-one-annotator-out references, match or exceed individual native speakers (macro-F1 0.75 to 0.86 vs. 0.75). Encoders fine-tuned on the batched labels reach only 0.34. Finally, a human-judged steerability probe finds that three frontier models adopt single persona axes with 59 to 77% fidelity but compose full personas only 33% of the time, with no congruence gap detected at this scale between Western-congruent and Nepali-collectivist personas.
• Abstract（参考訳）: 複数言語アライメントは、言語モデルが社会の多様性と競合する価値を忠実に表すように求めている。 ネパールの若者の移動と脳排水に関する公的な談話において、競合する社会文化人格をモデル化するための人為的なベンチマークであるNepPluralを紹介した。 我々は、2,148のコードミックス(Devanagari, Romanized Nepali, English)YouTubeコメントを編集し、4軸のペルソノミー(Intent, Primary Driver, Value Orientation, Affect)と明示的なNo-Personaクラスにアノテートし、3つのネイティブネパール語話者 (mean Fleiss' $κ\approx 0.55$) によって独立してラベル付けされた300の複合金セットを構築します。 このゴールドセットを用いて自動アノテーションを監査した結果,LDMアノテーションの信頼性はプロトコルによって駆動されることがわかった。 チャットインターフェイスを通じてバッチで収集されたラベルは、モデル間契約(κ\approx 0.17$)にしか届かない。 1度に1つのコメントをアノテートすることは、ネイティブスピーカーレベル(κ\approx 0.72$)以上の合意を上昇させるが、一貫性は有効ではない。 モデルはF1の0.79から0.87でNo-Personaコメントを復元し、個別のネイティブ話者(macro-F1 0.75から0.86対0.75)にマッチまたはオーバーする。 バッチラベルで微調整されたエンコーダはわずか0.34である。 最後に、3つのフロンティアモデルが59から77%の忠実度を持つ1つのペルソナ軸を採用するが、完全なペルソナを構成するのは33%である。

関連論文リスト

• Enjoy Your Talk: A Human-Centered Benchmark for Multi-Turn Dialogue with Decoupled User Simulation, Target Modeling, and Judging [15.994164469249727]
  EYT-Benchは、大規模な言語モデルを評価するための人間中心のベンチマークである。 人体は人体培養コーパスから採取される。 最先端のクローズドおよびオープンソースモデルは、統計的に主観的次元に近接している。
  論文  参考訳（メタデータ） (2026-07-11T18:22:49Z)
• Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth [0.34797121357690153]
  クロス評価フレームワークは、エジプト語とイラク語という2つの未表現のアラビア語方言のコミュニティをインスタンス化した。 提案手法は,母国語話者が作成した103組のプロンプト・ルブリックペアをコントリビュートする。 1,307人の審査員: GPT-5.4は最も信頼できる裁判官(MADj = 10.21 pp, Signed Error = -1.12%)である。
  論文  参考訳（メタデータ） (2026-06-30T20:18:32Z)
• Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models [66.34115263472931]
  大規模言語モデルは、文化的規範と個人の嗜好のバランスを必要とする社会的意思決定の状況にますます使われてきている。 PACT(Personal-Preference and Cultural-Norm Trade-off framework)を導入し,モデルが文化的規範に従うか,あるいは個人の嗜好を許容するかを評価する。 PACTに関する5つの国による研究は、人間の文化のフォローは主にシナリオ国によって行われており、参加者が自身の文化的文脈を判断する際の合意は最低であることを示している。
  論文  参考訳（メタデータ） (2026-06-05T22:20:30Z)
• Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
  アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。 LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か? 277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
  論文  参考訳（メタデータ） (2026-04-15T14:10:58Z)
• Moderating Harm: Benchmarking Large Language Models for Cyberbullying Detection in YouTube Comments [0.0]
  本研究は,OpenAI GPT-4.1, Google Gemini 1.5 Pro, Anthropic Claude 3 Opusの3つの主要な言語モデルを,5,080コメントのコーパスでベンチマークする。 YouTubeのデータセットは、英語、アラビア語、インドネシア語で1,334件の有害メッセージと3,746件の有害メッセージで構成されている。
  論文  参考訳（メタデータ） (2025-05-25T01:28:30Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• What Can We Learn from Collective Human Opinions on Natural Language Inference Data? [88.90490998032429]
  ChaosNLIは、集合HumAnオピニオンSを研究するための合計464,500のアノテーションを持つデータセットである。 このデータセットは、SNLIとMNLIの3,113例とAbductive-NLIの1,532例に対して、100のアノテーションを例に集めて作成されている。
  論文  参考訳（メタデータ） (2020-10-07T17:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。