論文の概要: Catching Dark Signals in Algorithms: Unveiling Audiovisual and Thematic Markers of Unsafe Content Recommended for Children and Teenagers
- arxiv url: http://arxiv.org/abs/2507.12571v1
- Date: Wed, 16 Jul 2025 18:41:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-18 20:10:24.24608
- Title: Catching Dark Signals in Algorithms: Unveiling Audiovisual and Thematic Markers of Unsafe Content Recommended for Children and Teenagers
- Title（参考訳）: アルゴリズムでダークシグナルをキャッチする:子どもとティーンエイジャーに推奨される安全でないコンテンツの視覚的およびテーマ的マーカーを公開
- Authors: Haoning Xue, Brian Nishimine, Martin Hilbert, Drew Cingel, Samantha Vigil, Jane Shawcroft, Arti Thakur, Zubair Shafiq, Jingwen Zhang,
- Abstract要約: ショートフォームビデオプラットフォームの普及は、年齢検証メカニズムの非効率さと相まって、アルゴリズムを改造したオンライン環境において、子供やティーンエイジャーが直面する潜在的な害について懸念を喚起する。
Instagram Reels, TikTok, YouTube Shortsで, 子どもとティーンエイジャーに推奨される4,492本のショートビデオのマルチモーダル特徴分析とテーマ・トピック・モデリングを行った。
この特徴レベルおよびコンテンツレベルの分析により、安全でない(つまり、精神的に苦しむ)ショートビデオは、より暗い視覚的特徴を持ち、明らかな有害なコンテンツと、不安を引き起こす通常のコンテンツによる暗黙の害を含んでいることが明らかとなった。
- 参考スコア（独自算出の注目度）: 13.39320891153433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The prevalence of short form video platforms, combined with the ineffectiveness of age verification mechanisms, raises concerns about the potential harms facing children and teenagers in an algorithm-moderated online environment. We conducted multimodal feature analysis and thematic topic modeling of 4,492 short videos recommended to children and teenagers on Instagram Reels, TikTok, and YouTube Shorts, collected as a part of an algorithm auditing experiment. This feature-level and content-level analysis revealed that unsafe (i.e., problematic, mentally distressing) short videos (a) possess darker visual features and (b) contain explicitly harmful content and implicit harm from anxiety-inducing ordinary content. We introduce a useful framework of online harm (i.e., explicit, implicit, unintended), providing a unique lens for understanding the dynamic, multifaceted online risks facing children and teenagers. The findings highlight the importance of protecting younger audiences in critical developmental stages from both explicit and implicit risks on social media, calling for nuanced content moderation, age verification, and platform regulation.
- Abstract（参考訳）: ショートフォームビデオプラットフォームの普及は、年齢検証メカニズムの非効率さと相まって、アルゴリズムによって修正されたオンライン環境において、子供やティーンエイジャーが直面する潜在的な害に対する懸念を提起する。
アルゴリズム監査実験の一環として,Instagram Reels,TikTok,YouTube Shortsで,子どもやティーンエイジャーに推奨される4,492本のショートビデオのマルチモーダル特徴分析とテーマ・トピック・モデリングを行った。
この特徴レベルおよび内容レベルの分析により、安全でない(問題のある、精神的に苦しむ)ショートビデオが明らかになった。
(a)より暗い視覚的特徴を持ち
b) 明らかな有害な内容と、不安を誘発する通常の内容に対する暗黙の害を含む。
子どもや10代の若者が直面している動的かつ多面的なオンラインリスクを理解するためのユニークなレンズを提供する。
この発見は、ソーシャルメディア上での明示的・暗黙的なリスクから、コンテンツモデレーション、年齢検証、プラットフォーム規制といった重要な発達段階における若者の保護の重要性を強調している。
関連論文リスト
- SNIFR : Boosting Fine-Grained Child Harmful Content Detection Through Audio-Visual Alignment with Cascaded Cross-Transformer [6.590879020134438]
悪意のあるユーザは、最小限のフレームに安全でないコンテンツを埋め込んでモデレーションシステムを利用する。
本研究では,子どもに有害なコンテンツの検出を視覚的に行うためのオーディオキューを組み込み,効果的なアライメントのための新しいフレームワークであるSNIFRを導入する。
論文 参考訳（メタデータ） (2025-06-03T20:37:23Z) - Video-SafetyBench: A Benchmark for Safety Evaluation of Video LVLMs [51.90597846977058]
Video-SafetyBenchは、ビデオテキスト攻撃下でのLVLMの安全性を評価するために設計された最初のベンチマークである。
ビデオテキストのペアは2,264で、48のきめ細かいアンセーフなカテゴリにまたがっている。
安全性評価のためのセマンティックなビデオを生成するために,ビデオ意味論を主題画像とモーションテキストに分解する制御可能なパイプラインを設計する。
論文 参考訳（メタデータ） (2025-05-17T05:06:38Z) - Protecting Young Users on Social Media: Evaluating the Effectiveness of Content Moderation and Legal Safeguards on Video Sharing Platforms [0.8198234257428011]
我々は,TikTok,YouTube,Instagramの年齢層別ビデオモデレーションの有効性を評価した。
受動的スクロールでは、13歳グループに割り当てられたアカウントは、18歳グループに割り当てられたアカウントよりも、より頻繁に迅速に有害とされるビデオに遭遇した。
露光は、アルゴリズムフィルタリングシステムの弱点を示す、ユーザー主導の検索なしで発生した。
論文 参考訳（メタデータ） (2025-05-16T12:06:42Z) - EdgeAIGuard: Agentic LLMs for Minor Protection in Digital Spaces [13.180252900900854]
本稿では,未成年者に対するオンライングルーミングやデジタル活用のさまざまな形態から保護するためのEdgeAIGuardコンテンツモデレーション手法を提案する。
提案手法は,ネットワークエッジに戦略的に配置したマルチエージェントアーキテクチャを用いて,低レイテンシで高速に検出し,未成年者を対象とした有害なコンテンツを防止する。
論文 参考訳（メタデータ） (2025-02-28T16:29:34Z) - Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。
主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。
本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
論文 参考訳（メタデータ） (2025-01-30T18:02:15Z) - MLLM-as-a-Judge for Image Safety without Human Labeling [81.24707039432292]
AIGCの時代には、多くの画像生成モデルは有害なコンテンツを生成できる。
確立された安全ルールに基づいて、このような安全でない画像を特定することが不可欠である。
既存のアプローチでは、人間のラベル付きデータセットを使った微調整MLLMが一般的である。
論文 参考訳（メタデータ） (2024-12-31T00:06:04Z) - Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。
特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
論文 参考訳（メタデータ） (2024-06-06T13:00:42Z) - Security Advice for Parents and Children About Content Filtering and
Circumvention as Found on YouTube and TikTok [2.743215038883957]
YouTubeやTikTokで見られるように、コンテンツフィルタリングと回避に関する両親や子供たちのアドバイスを検討する。
その結果、これらのビデオのうち、約4分の3は正確であり、残りの4分の1は事実的不正確なアドバイスを含んでいることがわかった。
子どもを対象とするビデオは、両親を対象とするビデオよりも、誤動作しやすく、有害な行動をとるリスクが高まる傾向にある。
論文 参考訳（メタデータ） (2024-02-05T18:12:33Z) - Countering Malicious Content Moderation Evasion in Online Social
Networks: Simulation and Detection of Word Camouflage [64.78260098263489]
ツイストとカモフラージュキーワードは、プラットフォームコンテンツモデレーションシステムを回避する最もよく使われるテクニックである。
本稿では,コンテンツ回避の新たな手法をシミュレートし,検出する多言語ツールを開発することにより,悪意ある情報に対する対処に大きく貢献する。
論文 参考訳（メタデータ） (2022-12-27T16:08:49Z) - Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。
興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。
別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文 参考訳（メタデータ） (2022-05-09T13:43:27Z) - 'Beach' to 'Bitch': Inadvertent Unsafe Transcription of Kids' Content on
YouTube [13.116806430326513]
有名な自動音声認識(ASR)システムは、YouTube Kidsのビデオの書き起こしをしながら、子供にとって非常に不適切なテキストコンテンツを生成できる。
我々は、既存の最先端のASRシステムが子供に不適切なコンテンツを幻覚させるような、第一級のオーディオデータセットをリリースする。
論文 参考訳（メタデータ） (2022-02-17T19:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。