論文の概要: Moderating Harm: Benchmarking Large Language Models for Cyberbullying Detection in YouTube Comments

• arxiv url: http://arxiv.org/abs/2505.18927v3
• Date: Sun, 01 Jun 2025 01:17:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 13:48:29.968441
• Title: Moderating Harm: Benchmarking Large Language Models for Cyberbullying Detection in YouTube Comments
• Title（参考訳）: モデレーションのハーム:YouTubeコメントにおけるサイバーいじめ検出のための大規模言語モデルのベンチマーク
• Abstract要約: 本研究は,OpenAI GPT-4.1, Google Gemini 1.5 Pro, Anthropic Claude 3 Opusの3つの主要な言語モデルを,5,080コメントのコーパスでベンチマークする。 YouTubeのデータセットは、英語、アラビア語、インドネシア語で1,334件の有害メッセージと3,746件の有害メッセージで構成されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As online platforms grow, comment sections increasingly host harassment that undermines user experience and well-being. This study benchmarks three leading large language models, OpenAI GPT-4.1, Google Gemini 1.5 Pro, and Anthropic Claude 3 Opus, on a corpus of 5,080 YouTube comments sampled from high-abuse threads in gaming, lifestyle, food vlog, and music channels. The dataset comprises 1,334 harmful and 3,746 non-harmful messages in English, Arabic, and Indonesian, annotated independently by two reviewers with substantial agreement (Cohen's kappa = 0.83). Using a unified prompt and deterministic settings, GPT-4.1 achieved the best overall balance with an F1 score of 0.863, precision of 0.887, and recall of 0.841. Gemini flagged the highest share of harmful posts (recall = 0.875) but its precision fell to 0.767 due to frequent false positives. Claude delivered the highest precision at 0.920 and the lowest false-positive rate of 0.022, yet its recall dropped to 0.720. Qualitative analysis showed that all three models struggle with sarcasm, coded insults, and mixed-language slang. These results underscore the need for moderation pipelines that combine complementary models, incorporate conversational context, and fine-tune for under-represented languages and implicit abuse. A de-identified version of the dataset and full prompts is publicly released to promote reproducibility and further progress in automated content moderation.
• Abstract（参考訳）: オンラインプラットフォームが成長するにつれ、コメント欄はユーザー体験や幸福を損なう嫌がらせをますます受けている。 この研究は、ゲーム、ライフスタイル、フードログ、音楽チャンネルの高使用率スレッドからサンプリングされた5,080のYouTubeコメントのコーパスで、OpenAI GPT-4.1、Google Gemini 1.5 Pro、Anthhropic Claude 3 Opusの3つの主要な言語モデルをベンチマークする。 データセットは、英語、アラビア語、インドネシア語で1,334件の有害メッセージと3,746件の非有害メッセージで構成され、相当な合意(コーエンのkaappa = 0.83)を持つ2人のレビュアーによって独立に注釈付けされている。 統一的なプロンプトと決定論的設定を用いて、GPT-4.1はF1スコア0.863、精度0.887、リコール0.841で最高の総合バランスを達成した。 ジェミニは有害なポストの最大シェア(リコール=0.875)を掲げたが、偽陽性が頻発したため精度は0.767に低下した。 クロードの精度は0.920で、偽陽性率は0.022だったが、リコールは0.720に低下した。 質的な分析により、3つのモデル全てがサルカズム、コード化された侮辱、混合言語スラングに苦しむことが明らかとなった。 これらの結果は、補完的なモデルを組み合わせたモデレーションパイプラインの必要性、会話コンテキストの導入、表現不足の言語に対する微調整、暗黙の虐待の必要性を浮き彫りにしている。 データセットの特定されていないバージョンとフルプロンプトが公開され、再現性と自動コンテンツモデレーションのさらなる進歩を促進する。

関連論文リスト

• When Metrics Reward the Worst Translations: Internalizing Cultural Reasoning for Social Media Translation Evaluation [40.50995079894586]
  COMET,XCOMET,BERTScoreなどの標準指標は,人的文化的判断とほぼゼロあるいは負の相関を示した。 文化的推論を内包する強化学習フレームワークCuRILを提案する。
  論文  参考訳（メタデータ） (2026-09-08T02:39:50Z)
• Long Live Fine-Tuning: Task-Specific Transformers Outperform Zero-Shot LLMs for Misinformation Response Classification on Reddit [5.437038443632133]
  我々は,誤情報談話の微妙な分類にスケールと一般能力が十分であるという暗黙の仮定を検証した。 BART-MNLI、3つのLlama変種、3つの商用フロンティアLLM、微調整されたDistilBERTとRoBERTaの9つのモデルを比較した。 検証のコンテキストでは、欠落した信念がコストの低いエラーである場合、タスク固有の微調整の方がより信頼性の高い選択である。
  論文  参考訳（メタデータ） (2026-06-02T22:58:59Z)
• MMTM: Tri-Modal Topic Modeling for Long-Form Video via Similarity-Gated Fusion [44.304470436110165]
  本稿では,音声認識,音声と視覚の埋め込み,BERTopicクラスタリングを統合した,長文ビデオにおけるトピック発見のためのモジュールパイプラインであるMMTMを紹介する。 我々は,ドイツ語 (Tagesschau) と英語 (NBC) の放送ニュースにおける話題の質を評価する。 パイプラインコードと54時間のマルチモーダルビデオトピックコーパスを,デュアルアノテーションによる視覚評価とLCMによるラベリングによりリリースする。
  論文  参考訳（メタデータ） (2026-05-28T11:12:30Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• PhyGround: Benchmarking Physical Reasoning in Generative World Models [46.53245929361594]
  ビデオ生成における物理的推論を評価するための基準付きベンチマークであるPhyGroundを紹介する。 ベンチマークには250のキュレートされたプロンプトが含まれており、それぞれが予想される物理的な結果と13の物理法則の分類が含まれている。 我々は,大規模で品質管理された人間の研究を通じて,8つの現代映像生成モデルを評価する。
  論文  参考訳（メタデータ） (2026-05-11T16:30:51Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context [3.5764166657860934]
  大規模言語モデル(LLM)は、グローバルなデジタルエコシステムにますます影響を及ぼすが、社会的・文化的バイアスを持続させる可能性については、未表現の文脈では理解されていないままである。 GPT-4o-mini, Claude-3-Sonnet, Claude-4-Sonnet, Gemini-2.0-Flash, Gemini-2.0-Lite, Llama-3-70B, Mistral-Nemoの7つの最先端LCMにおける表現バイアスの系統的解析を行った。
  論文  参考訳（メタデータ） (2026-03-08T20:26:13Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• Qwen3-ASR Technical Report [71.87071808763484]
  2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。 Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
  論文  参考訳（メタデータ） (2026-01-29T06:58:13Z)
• LLMs on Drugs: Language Models Are Few-Shot Consumers [51.736723807086385]
  ARC-Challenge を用いた GPT-5-mini における心理活性フレーミングの制御に関する研究を行った。 4つの単一文プロンプト(LSD、コカイン、アルコール、大麻)は、すっぱいコントロールと比較される。 ペルソナテキストは、モデルの重みに触れることなく信頼性を損なう「ファウショット消費可能」のように振る舞う。
  論文  参考訳（メタデータ） (2025-12-21T00:19:02Z)
• Large Language Models for Toxic Language Detection in Low-Resource Balkan Languages [0.0]
  本研究では,セルビア語,クロアチア語,ボスニア語における有毒なコメントをラベル付きデータで処理する大規模言語モデルについて検討した。 YouTubeとTikTokのコメントのデータセットを、さまざまなカテゴリーのビデオから作成し、手動でラベル付けしました。 4つのモデル(GPT-3.5 Turbo, GPT-4.1, Gemini 1.5 Pro, Claude 3 Opus)がゼロショットとコンテキスト拡張の2つのモードで試験された。
  論文  参考訳（メタデータ） (2025-06-11T17:59:33Z)
• Multilingual Hate Speech Detection in Social Media Using Translation-Based Approaches with Large Language Models [4.66584517664999]
  キーワードフィルタリングにより収集した英語,ウルドゥー語,スペイン語で10,193ツイートのトリリンガルデータセットを導入する。 GPT-3.5 Turbo と Qwen 2.5 72B をアテンション層に統合することで,高い性能を実現する。 我々のフレームワークは、多言語ヘイトスピーチ検出のための堅牢なソリューションを提供し、世界中のより安全なデジタルコミュニティを育む。
  論文  参考訳（メタデータ） (2025-06-09T18:53:56Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
  大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。 本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T20:29:02Z)
• HateGPT: Unleashing GPT-3.5 Turbo to Combat Hate Speech on X [0.0]
  マクロF1スコアを用いた分類モデルの性能評価を行った。 その結果,ラン1が最高性能を示し,精度とリコールの点でモデルが一貫して良好に動作していることが示唆された。
  論文  参考訳（メタデータ） (2024-11-14T06:20:21Z)
• Causal Micro-Narratives [62.47217054314046]
  テキストから因果マイクロナラティブを分類する新しい手法を提案する。 これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
  論文  参考訳（メタデータ） (2024-10-07T17:55:10Z)
• WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild [57.272096543738336]
  WildBenchは、大規模言語モデル(LLM)のベンチマーク用に設計された自動評価フレームワークである。 WildBenchは、100万以上の人間チャットボットの会話ログから慎重に選択された1,024のタスクで構成されている。 We have developed two metrics, WB-Reward and WB-Score which are computeable using Advanced LLMs。
  論文  参考訳（メタデータ） (2024-06-07T09:15:44Z)
• Hate Speech and Offensive Content Detection in Indo-Aryan Languages: A Battle of LSTM and Transformers [0.0]
  我々はベンガル語、アサメセ語、ボド語、シンハラ語、グジャラート語の5つの異なる言語でヘイトスピーチの分類を比較した。 Bert Base Multilingual Casedは、ベンガル語で0.67027得点、アサメ語で0.70525得点を達成した。 シンハラではXLM-RはF1スコア0.83493で際立っているが、グジャラティではF1スコア0.76601で照らされたカスタムLSTMベースのモデルである。
  論文  参考訳（メタデータ） (2023-12-09T20:24:00Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• Explainable and High-Performance Hate and Offensive Speech Detection [5.2128938453601155]
  我々は、Twitterデータに基づいてトレーニングされたXGBoostアルゴリズムに基づいて、説明可能かつ解釈可能なハイパフォーマンスモデルを構築した。 バランスの取れないTwitterデータに対して、XGboostはヘイトスピーチ検出におけるLSTM、AutoGluon、ULMFiTモデルよりも優れていた。 XGBoostはLSTM、AutoGluon、ULMFiTよりも、攻撃的な音声検出のためのダウンサンプルバージョンで性能が向上した。
  論文  参考訳（メタデータ） (2022-06-26T22:02:53Z)
• CommonsenseQA 2.0: Exposing the Limits of AI through Gamification [126.85096257968414]
  現代自然言語理解モデルの能力をテストするベンチマークを構築した。 本研究では,データ構築の枠組みとしてゲーミフィケーションを提案する。
  論文  参考訳（メタデータ） (2022-01-14T06:49:15Z)
• What Can We Learn from Collective Human Opinions on Natural Language Inference Data? [88.90490998032429]
  ChaosNLIは、集合HumAnオピニオンSを研究するための合計464,500のアノテーションを持つデータセットである。 このデータセットは、SNLIとMNLIの3,113例とAbductive-NLIの1,532例に対して、100のアノテーションを例に集めて作成されている。
  論文  参考訳（メタデータ） (2020-10-07T17:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。