論文の概要: Unveiling the Capabilities of Large Language Models in Detecting Offensive Language with Annotation Disagreement

• arxiv url: http://arxiv.org/abs/2502.06207v1
• Date: Mon, 10 Feb 2025 07:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:24.866478
• Title: Unveiling the Capabilities of Large Language Models in Detecting Offensive Language with Annotation Disagreement
• Title（参考訳）: アノテーションによる攻撃的言語検出における大規模言語モデルの能力の解明
• Authors: Junyu Lu, Kai Ma, Kaichun Wang, Kelaiti Xiao, Roy Ka-Wei Lee, Bo Xu, Liang Yang, Hongfei Lin,
• Abstract要約: アノテーションの不一致を伴って攻撃言語を検出するLLMの能力を体系的に評価した。 アノテーション合意レベルの異なる複数のLPMのバイナリ精度を比較し,LCMの信頼度とアノテーション合意の関係を分析する。 この結果から,不一致サンプルによる課題が浮き彫りとなり,LLMによる攻撃言語検出の改善のためのガイダンスが得られた。
• 参考スコア（独自算出の注目度）: 22.992484902761994
• License:
• Abstract: LLMs are widely used for offensive language detection due to their advanced capability. However, the challenges posed by human annotation disagreement in real-world datasets remain underexplored. These disagreement samples are difficult to detect due to their ambiguous nature. Additionally, the confidence of LLMs in processing disagreement samples can provide valuable insights into their alignment with human annotators. To address this gap, we systematically evaluate the ability of LLMs to detect offensive language with annotation disagreement. We compare the binary accuracy of multiple LLMs across varying annotation agreement levels and analyze the relationship between LLM confidence and annotation agreement. Furthermore, we investigate the impact of disagreement samples on LLM decision-making during few-shot learning and instruction fine-tuning. Our findings highlight the challenges posed by disagreement samples and offer guidance for improving LLM-based offensive language detection.
• Abstract（参考訳）: LLMは、その高度な能力のため、攻撃的な言語検出に広く使用されている。 しかし、実際のデータセットにおける人間のアノテーションの不一致によって引き起こされる課題は、まだ未解明のままである。 これらの不一致サンプルは、あいまいな性質のため検出が難しい。 さらに、不一致サンプルの処理におけるLDMの信頼性は、人間のアノテータとのアライメントに関する貴重な洞察を与えることができる。 このギャップに対処するために,アノテーションの不一致を伴って攻撃言語を検出するLLMの能力を体系的に評価した。 アノテーション合意レベルの異なる複数のLPMのバイナリ精度を比較し,LCMの信頼度とアノテーション合意の関係を分析する。 さらに,不一致サンプルがLLM意思決定に与える影響について検討した。 この結果から,不一致サンプルによる課題が浮き彫りとなり,LLMによる攻撃言語検出の改善のためのガイダンスが得られた。

関連論文リスト

• Exploring Robustness of LLMs to Sociodemographically-Conditioned Paraphrasing [7.312170216336085]
  我々は、社会デミノグラフィーの次元にまたがる幅広いバリエーションを探求するために、より広いアプローチを取る。 我々はSocialIQAデータセットを拡張し、ソシオデミノグラフィースタイルを条件とした多様なパラフレーズセットを作成する。 人口統計学的パラフレーズが言語モデルの性能に大きく影響していることが判明した。
  論文  参考訳（メタデータ） (2025-01-14T17:50:06Z)
• Counterfactual Samples Constructing and Training for Commonsense Statements Estimation [17.970740197590693]
  可塑性推定は、言語モデルが現実世界を客観的に理解できるようにする上で重要な役割を果たす。 理想的なPEモデルの2つの重要な特徴を欠いている。 本稿では,Commonsense Counterfactual Samples Generatingと呼ばれる新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2024-12-29T20:18:52Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
  本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。 特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
  論文  参考訳（メタデータ） (2021-06-06T06:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。