論文の概要: Unveiling the Capabilities of Large Language Models in Detecting Offensive Language with Annotation Disagreement

• arxiv url: http://arxiv.org/abs/2502.06207v1
• Date: Mon, 10 Feb 2025 07:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:24.866478
• Title: Unveiling the Capabilities of Large Language Models in Detecting Offensive Language with Annotation Disagreement
• Title（参考訳）: アノテーションによる攻撃的言語検出における大規模言語モデルの能力の解明
• Authors: Junyu Lu, Kai Ma, Kaichun Wang, Kelaiti Xiao, Roy Ka-Wei Lee, Bo Xu, Liang Yang, Hongfei Lin,
• Abstract要約: アノテーションの不一致を伴って攻撃言語を検出するLLMの能力を体系的に評価した。 アノテーション合意レベルの異なる複数のLPMのバイナリ精度を比較し,LCMの信頼度とアノテーション合意の関係を分析する。 この結果から,不一致サンプルによる課題が浮き彫りとなり,LLMによる攻撃言語検出の改善のためのガイダンスが得られた。
• 参考スコア（独自算出の注目度）: 22.992484902761994
• License:
• Abstract: LLMs are widely used for offensive language detection due to their advanced capability. However, the challenges posed by human annotation disagreement in real-world datasets remain underexplored. These disagreement samples are difficult to detect due to their ambiguous nature. Additionally, the confidence of LLMs in processing disagreement samples can provide valuable insights into their alignment with human annotators. To address this gap, we systematically evaluate the ability of LLMs to detect offensive language with annotation disagreement. We compare the binary accuracy of multiple LLMs across varying annotation agreement levels and analyze the relationship between LLM confidence and annotation agreement. Furthermore, we investigate the impact of disagreement samples on LLM decision-making during few-shot learning and instruction fine-tuning. Our findings highlight the challenges posed by disagreement samples and offer guidance for improving LLM-based offensive language detection.
• Abstract（参考訳）: LLMは、その高度な能力のため、攻撃的な言語検出に広く使用されている。 しかし、実際のデータセットにおける人間のアノテーションの不一致によって引き起こされる課題は、まだ未解明のままである。 これらの不一致サンプルは、あいまいな性質のため検出が難しい。 さらに、不一致サンプルの処理におけるLDMの信頼性は、人間のアノテータとのアライメントに関する貴重な洞察を与えることができる。 このギャップに対処するために,アノテーションの不一致を伴って攻撃言語を検出するLLMの能力を体系的に評価した。 アノテーション合意レベルの異なる複数のLPMのバイナリ精度を比較し,LCMの信頼度とアノテーション合意の関係を分析する。 さらに,不一致サンプルがLLM意思決定に与える影響について検討した。 この結果から,不一致サンプルによる課題が浮き彫りとなり,LLMによる攻撃言語検出の改善のためのガイダンスが得られた。

関連論文リスト

• Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering [15.342415325821063]
  自然言語の曖昧さは、オープンドメインの質問応答に使用される大規模言語モデル(LLM)に重大な課題をもたらす。 我々は,明示的曖昧化戦略の効果を計測することに集中して,市販のLLM性能と数発のLLM性能を比較した。 本研究では, 難解な問合せタスクにおいて, LLM性能を向上させるために, 簡単な, トレーニング不要, トークンレベルの曖昧さを効果的に活用できることを実証する。
  論文  参考訳（メタデータ） (2024-11-19T10:27:26Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Analyzing LLM Behavior in Dialogue Summarization: Unveiling Circumstantial Hallucination Trends [38.86240794422485]
  対話要約のための大規模言語モデルの忠実度を評価する。 私たちの評価は幻覚を構成するものに関して微妙な点を呈する。 既存の指標より優れた微細な誤差検出のための2つのプロンプトベースのアプローチを導入する。
  論文  参考訳（メタデータ） (2024-06-05T17:49:47Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。