論文の概要: Evaluating AI capabilities in detecting conspiracy theories on YouTube

• arxiv url: http://arxiv.org/abs/2505.23570v1
• Date: Thu, 29 May 2025 15:44:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.954278
• Title: Evaluating AI capabilities in detecting conspiracy theories on YouTube
• Title（参考訳）: YouTubeで陰謀論を検出するAI能力の評価
• Authors: Leonardo La Rocca, Francesco Corso, Francesco Pierri,
• Abstract要約: 本研究では,オープンウェイトなLarge Language Models (LLMs) のテキストのみとマルチモーダルの両方を用いて,YouTube上での陰謀論のビデオの識別を行う。 我々は、ゼロショット設定で様々なLLMを評価し、その性能を微調整されたRoBERTaベースラインと比較した。 その結果,テキストベースのLLMは高いリコール精度,低い精度を実現し,偽陽性が増大した。 マルチモーダルモデルはテキストのみのモデルよりも遅れており、ビジュアルデータ統合のメリットが限定されている。
• 参考スコア（独自算出の注目度）: 0.1474723404975345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a leading online platform with a vast global audience, YouTube's extensive reach also makes it susceptible to hosting harmful content, including disinformation and conspiracy theories. This study explores the use of open-weight Large Language Models (LLMs), both text-only and multimodal, for identifying conspiracy theory videos shared on YouTube. Leveraging a labeled dataset of thousands of videos, we evaluate a variety of LLMs in a zero-shot setting and compare their performance to a fine-tuned RoBERTa baseline. Results show that text-based LLMs achieve high recall but lower precision, leading to increased false positives. Multimodal models lag behind their text-only counterparts, indicating limited benefits from visual data integration. To assess real-world applicability, we evaluate the most accurate models on an unlabeled dataset, finding that RoBERTa achieves performance close to LLMs with a larger number of parameters. Our work highlights the strengths and limitations of current LLM-based approaches for online harmful content detection, emphasizing the need for more precise and robust systems.
• Abstract（参考訳）: グローバルなオーディエンスを擁する主要なオンラインプラットフォームとして、YouTubeの広範なリーチは、偽情報や陰謀説を含む有害なコンテンツをホストすることにも影響を受けやすい。 本研究では,オープンウェイトな大規模言語モデル(LLM)を,テキストのみとマルチモーダルの両方で,YouTube上で共有されている陰謀論のビデオの識別に利用することを検討した。 数千のビデオのラベル付きデータセットを利用して、ゼロショット設定で様々なLCMを評価し、それらのパフォーマンスを微調整されたRoBERTaベースラインと比較する。 その結果,テキストベースのLLMは高いリコール精度,低い精度を実現し,偽陽性が増大した。 マルチモーダルモデルはテキストのみのモデルよりも遅れており、ビジュアルデータ統合のメリットが限定されている。 実世界の適用性を評価するため,ラベル付きデータセット上で最も正確なモデルの評価を行い,RoBERTa が LLM に近い性能を多数のパラメータで達成していることを確認した。 我々の研究は、現在のLLMベースのオンライン有害コンテンツ検出手法の強みと限界を強調し、より正確で堅牢なシステムの必要性を強調している。

関連論文リスト

• LLM-based Semantic Augmentation for Harmful Content Detection [5.954202581988127]
  本稿では,大規模言語モデルに対して,雑音の多いテキストをきれいにし,文脈に富んだ説明を提供するアプローチを提案する。 我々はSemEval 2024マルチラベルPersuasive Memeデータセットを評価し、Google Jigsawの有毒なコメントとFacebookの憎しみのあるミームデータセットで検証した。 その結果, 教師付きモデルと比較して, ゼロショットLLM分類はこれらの高文脈タスクでは不十分であることが判明した。
  論文  参考訳（メタデータ） (2025-04-22T02:59:03Z)
• Protecting multimodal large language models against misleading visualizations [94.71976205962527]
  誤解を招くビジュアライゼーションの性能を改善するための最初の推論時間手法を紹介する。 MLLM問合せ精度は, 平均値からランダム基準値まで低下することがわかった。
  論文  参考訳（メタデータ） (2025-02-27T20:22:34Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• LLM-SEM: A Sentiment-Based Student Engagement Metric Using LLMS for E-Learning Platforms [0.0]
  LLM-SEM (Language Model-Based Students Engagement Metric) は,ビデオメタデータと学生コメントの感情分析を利用してエンゲージメントを測定する手法である。 我々は、テキストの曖昧さを軽減し、ビューやいいね!といった重要な特徴を正規化するために、高品質な感情予測を生成する。 包括的メタデータと感情極性スコアを組み合わせることで、コースと授業レベルのエンゲージメントを測定する。
  論文  参考訳（メタデータ） (2024-12-18T12:01:53Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Validating Large Language Models with ReLM [11.552979853457117]
  大規模言語モデル(LLM)は、自然に聞こえるテキストを生成する能力があるとして、高く評価されている。 データ記憶、バイアス、不適切な言語など、LLMのネガティブな影響に関する懸念が高まっている。 本稿では,標準正規表現を用いたLLMの検証・クエリシステムであるReLMを紹介する。
  論文  参考訳（メタデータ） (2022-11-21T21:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。