論文の概要: Decomposing and Predicting Annotation Disagreement in Harmful Content Across Languages

• arxiv url: http://arxiv.org/abs/2610.18588v1
• Date: Tue, 13 Oct 2026 15:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:34:38.568157
• Title: Decomposing and Predicting Annotation Disagreement in Harmful Content Across Languages
• Title（参考訳）: 言語間の有害コンテンツにおけるアノテーションの分解と予測
• Abstract要約: アノテーションの不一致は、主観的なタスクの有意義な性質として、ますます認識されている。 テキストの解釈可能な意味特性から不一致を予測することを提案する。 モデルとデータセット全体、デロゲーションに関する質問、コンテキストの欠如、決定境界が最強の予測要因として機能する。
• 参考スコア（独自算出の注目度）: 48.69228180369574
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Annotator disagreement is increasingly recognized as a meaningful property of subjective tasks, rather than merely noise to be removed. Predicting which items are likely to be contested could help allocate annotation effort and route difficult cases to human review. We propose predicting disagreement from interpretable semantic properties of the text. An LLM answers a set of binary questions covering harmful-content characteristics, disagreement-related cues such as borderline severity and missing context, and language-sensitive cues such as local slurs. A classifier predicts disagreement from these answers, and we analyze which questions contribute most to the predictions. Across four datasets in English, German, and Turkish and three open-weight LLMs, our structured question features outperform direct prompting by 10.5 ROC-AUC points and the strongest text-based baselines by 5.0 points. A compact subset of eight questions performs within 1.5 ROC-AUC points of the full twenty-question set. In leave-one-dataset-out evaluation, models retain roughly 90-95% of their in-domain ROC-AUC. Across models and datasets, questions about derogation, missing context, and decision boundaries serve as the strongest predictors, suggesting that what makes harmful content contested is partly observable in the text.
• Abstract（参考訳）: アノテーションの不一致は、単に除去すべきノイズではなく、主観的なタスクの有意義な特性として認識されることが多い。 どの項目が争われるかを予測することは、アノテーションの労力を割り当て、難しいケースを人間のレビューにルーティングするのに役立ちます。 テキストの解釈可能な意味特性から不一致を予測することを提案する。 LLMは、有害な内容の特徴、境界線重大度や欠落した文脈などの不一致に関連する手がかり、局所スラーのような言語に敏感な手がかりを含む二項質問の集合に答える。 分類器はこれらの回答と不一致を予測し、どの質問が予測に最も寄与するかを分析する。 英語、ドイツ語、トルコ語で4つのデータセットと3つのオープンウェイトLSMで、構造化された質問は、10.5ROC-AUCポイント、最強のテキストベースライン5.0ポイントの直接的プロンプトよりも優れている。 8つの質問のコンパクトなサブセットは、全20問セットの1.5ROC-AUCポイント内で実行される。 leave-one-dataset-out評価では、モデルはドメイン内のROC-AUCの約90-95%を保持する。 モデルとデータセット全体、デロゲーション、コンテキストの欠如、決定境界に関する質問は、最も強力な予測要因として機能し、有害なコンテンツを競合させるものは、テキストで部分的に観察可能であることを示唆している。

関連論文リスト

• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• Comparing LLM Text Annotation Skills: A Study on Human Rights Violations in Social Media Data [2.812898346527047]
  本研究では,ロシア語とウクライナ語におけるソーシャルメディア投稿のゼロショットおよび少数ショットアノテーションに対する大規模言語モデル(LLM)の機能について検討した。 これらのモデルの有効性を評価するため、それらのアノテーションは、人間の二重注釈付きラベルのゴールドスタンダードセットと比較される。 この研究は、各モデルが示すエラーと不一致のユニークなパターンを探求し、その強み、制限、言語間適応性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-15T13:10:47Z)
• Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
  本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。 我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
  論文  参考訳（メタデータ） (2025-04-10T09:24:54Z)
• Who's Who: Large Language Models Meet Knowledge Conflicts in Practice [28.48156432356721]
  我々は、知識衝突状況におけるモデルの振る舞いを調べるためのベンチマークデータセットWhoQAを紹介する。 我々は、同じ名前のエンティティ間で共通の性質を問うことで対立を誘発し、その結果、最大8つの独特な答えが得られた。 実験の結果,WhoQA質問の単純さにもかかわらず,知識の矛盾はRAG設定におけるLLMの性能を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2024-10-21T07:56:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。