論文の概要: Evaluating AI capabilities in detecting conspiracy theories on YouTube

• arxiv url: http://arxiv.org/abs/2505.23570v2
• Date: Fri, 04 Jul 2025 14:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.369513
• Title: Evaluating AI capabilities in detecting conspiracy theories on YouTube
• Title（参考訳）: YouTubeで陰謀論を検出するAI能力の評価
• Authors: Leonardo La Rocca, Francesco Corso, Francesco Pierri,
• Abstract要約: 本研究では,オープンウェイトなLarge Language Models (LLMs) のテキストのみとマルチモーダルの両方を用いて,YouTube上での陰謀論のビデオの識別を行う。 我々は、ゼロショット設定で様々なLLMを評価し、その性能を微調整されたRoBERTaベースラインと比較した。 その結果,テキストベースのLLMは高いリコール精度,低い精度を実現し,偽陽性が増大した。 マルチモーダルモデルはテキストのみのモデルよりも遅れており、ビジュアルデータ統合のメリットが限定されている。
• 参考スコア（独自算出の注目度）: 0.1474723404975345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a leading online platform with a vast global audience, YouTube's extensive reach also makes it susceptible to hosting harmful content, including disinformation and conspiracy theories. This study explores the use of open-weight Large Language Models (LLMs), both text-only and multimodal, for identifying conspiracy theory videos shared on YouTube. Leveraging a labeled dataset of thousands of videos, we evaluate a variety of LLMs in a zero-shot setting and compare their performance to a fine-tuned RoBERTa baseline. Results show that text-based LLMs achieve high recall but lower precision, leading to increased false positives. Multimodal models lag behind their text-only counterparts, indicating limited benefits from visual data integration. To assess real-world applicability, we evaluate the most accurate models on an unlabeled dataset, finding that RoBERTa achieves performance close to LLMs with a larger number of parameters. Our work highlights the strengths and limitations of current LLM-based approaches for online harmful content detection, emphasizing the need for more precise and robust systems.
• Abstract（参考訳）: グローバルなオーディエンスを擁する主要なオンラインプラットフォームとして、YouTubeの広範なリーチは、偽情報や陰謀説を含む有害なコンテンツをホストすることにも影響を受けやすい。 本研究では,オープンウェイトな大規模言語モデル(LLM)を,テキストのみとマルチモーダルの両方で,YouTube上で共有されている陰謀論のビデオの識別に利用することを検討した。 数千のビデオのラベル付きデータセットを利用して、ゼロショット設定で様々なLCMを評価し、それらのパフォーマンスを微調整されたRoBERTaベースラインと比較する。 その結果,テキストベースのLLMは高いリコール精度,低い精度を実現し,偽陽性が増大した。 マルチモーダルモデルはテキストのみのモデルよりも遅れており、ビジュアルデータ統合のメリットが限定されている。 実世界の適用性を評価するため,ラベル付きデータセット上で最も正確なモデルの評価を行い,RoBERTa が LLM に近い性能を多数のパラメータで達成していることを確認した。 我々の研究は、現在のLLMベースのオンライン有害コンテンツ検出手法の強みと限界を強調し、より正確で堅牢なシステムの必要性を強調している。

関連論文リスト

• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• LLM-based Semantic Augmentation for Harmful Content Detection [5.954202581988127]
  本稿では,大規模言語モデルに対して,雑音の多いテキストをきれいにし,文脈に富んだ説明を提供するアプローチを提案する。 我々はSemEval 2024マルチラベルPersuasive Memeデータセットを評価し、Google Jigsawの有毒なコメントとFacebookの憎しみのあるミームデータセットで検証した。 その結果, 教師付きモデルと比較して, ゼロショットLLM分類はこれらの高文脈タスクでは不十分であることが判明した。
  論文  参考訳（メタデータ） (2025-04-22T02:59:03Z)
• Adapting Large Language Models for Parameter-Efficient Log Anomaly Detection [22.804501061898616]
  Log Anomaly Detection (LAD) は、システムのセキュリティと状態を評価する上で重要なログデータの非定型パターンを特定することを目指している。 大規模言語モデル(LLM)は様々な分野で大きな成功を収めてきたが、ログ異常の検出にLLMを使うことは、ほとんど探索されていない。 LLMをLADに適応させるために,パラメータ効率のよい微調整技術(PEFT)について検討する。
  論文  参考訳（メタデータ） (2025-03-11T05:00:19Z)
• Protecting multimodal large language models against misleading visualizations [94.71976205962527]
  誤解を招くビジュアライゼーションの性能を改善するための最初の推論時間手法を紹介する。 MLLM問合せ精度は, 平均値からランダム基準値まで低下することがわかった。
  論文  参考訳（メタデータ） (2025-02-27T20:22:34Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• FDLLM: A Dedicated Detector for Black-Box LLMs Fingerprinting [20.07438999071414]
  大規模言語モデル(LLM)は、デジタルコンテンツ作成の風景を急速に変えつつある。 FD-Datasetは、20の有名なプロプライエタリおよびオープンソースLLMから90,000のテキストサンプルからなる総合的なバイリンガルフィンガープリントベンチマークである。 また,パラメータ効率の低いLow-Rank Adaptation (LoRA) を利用して基礎モデルの微調整を行う新しいフィンガープリント手法であるFDLLMを提案する。
  論文  参考訳（メタデータ） (2025-01-27T13:18:40Z)
• LLM-SEM: A Sentiment-Based Student Engagement Metric Using LLMS for E-Learning Platforms [0.0]
  LLM-SEM (Language Model-Based Students Engagement Metric) は,ビデオメタデータと学生コメントの感情分析を利用してエンゲージメントを測定する手法である。 我々は、テキストの曖昧さを軽減し、ビューやいいね!といった重要な特徴を正規化するために、高品質な感情予測を生成する。 包括的メタデータと感情極性スコアを組み合わせることで、コースと授業レベルのエンゲージメントを測定する。
  論文  参考訳（メタデータ） (2024-12-18T12:01:53Z)
• Scaling Up Video Summarization Pretraining with Large Language Models [73.74662411006426]
  本稿では,大規模ビデオ要約データセットを生成するための,自動化されたスケーラブルなパイプラインを提案する。 我々は既存のアプローチの限界を分析し、それらに効果的に対処する新しいビデオ要約モデルを提案する。 我々の研究は、プロが注釈付けした高品質の要約を持つ1200本の長編ビデオを含む新しいベンチマークデータセットも提示した。
  論文  参考訳（メタデータ） (2024-04-04T11:59:06Z)
• Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance [51.30560006045442]
  Image-gRounded guIdaNcE (MARINE)は、トレーニングフリーかつAPIフリーのフレームワークである。 MARINEは、LVLMに画像グラウンドガイダンスを導入することにより、推論中の物体の幻覚を効果的かつ効率的に低減する。 私たちのフレームワークの柔軟性は、さらに複数のビジョンモデルの統合を可能にし、より信頼性が高く堅牢なオブジェクトレベルのガイダンスを可能にします。
  論文  参考訳（メタデータ） (2024-02-13T18:59:05Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• Validating Large Language Models with ReLM [11.552979853457117]
  大規模言語モデル(LLM)は、自然に聞こえるテキストを生成する能力があるとして、高く評価されている。 データ記憶、バイアス、不適切な言語など、LLMのネガティブな影響に関する懸念が高まっている。 本稿では,標準正規表現を用いたLLMの検証・クエリシステムであるReLMを紹介する。
  論文  参考訳（メタデータ） (2022-11-21T21:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。