論文の概要: Moderating Illicit Online Image Promotion for Unsafe User-Generated Content Games Using Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2403.18957v2
• Date: Mon, 12 Aug 2024 17:20:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 23:38:15.608837
• Title: Moderating Illicit Online Image Promotion for Unsafe User-Generated Content Games Using Large Vision-Language Models
• Title（参考訳）: 大規模ビジョンランゲージモデルを用いた安全でないユーザ生成コンテンツゲームにおけるオンライン画像のモデレーション
• Authors: Keyan Guo, Ayush Utkarsh, Wenbo Ding, Isabelle Ondracek, Ziming Zhao, Guo Freeman, Nishant Vishwamitra, Hongxin Hu,
• Abstract要約: オンラインユーザ生成コンテンツゲーム(UGCG)は、子供や青年の間で人気が高まっている。 露骨なコンテンツに露出するリスクが高くなり、子供や青年のオンライン安全への懸念が高まっている。 ソーシャルメディア上での不正な画像ベースのアンセーフGのプロモーションの問題に対処する研究はほとんどない。
• 参考スコア（独自算出の注目度）: 17.543928405640965
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Online user generated content games (UGCGs) are increasingly popular among children and adolescents for social interaction and more creative online entertainment. However, they pose a heightened risk of exposure to explicit content, raising growing concerns for the online safety of children and adolescents. Despite these concerns, few studies have addressed the issue of illicit image-based promotions of unsafe UGCGs on social media, which can inadvertently attract young users. This challenge arises from the difficulty of obtaining comprehensive training data for UGCG images and the unique nature of these images, which differ from traditional unsafe content. In this work, we take the first step towards studying the threat of illicit promotions of unsafe UGCGs. We collect a real-world dataset comprising 2,924 images that display diverse sexually explicit and violent content used to promote UGCGs by their game creators. Our in-depth studies reveal a new understanding of this problem and the urgent need for automatically flagging illicit UGCG promotions. We additionally create a cutting-edge system, UGCG-Guard, designed to aid social media platforms in effectively identifying images used for illicit UGCG promotions. This system leverages recently introduced large vision-language models (VLMs) and employs a novel conditional prompting strategy for zero-shot domain adaptation, along with chain-of-thought (CoT) reasoning for contextual identification. UGCG-Guard achieves outstanding results, with an accuracy rate of 94% in detecting these images used for the illicit promotion of such games in real-world scenarios.
• Abstract（参考訳）: オンラインユーザ生成コンテンツゲーム(UGCG)は、社会的相互作用とよりクリエイティブなオンラインエンターテイメントのために、子供や青年の間で人気が高まっている。 しかし、露骨なコンテンツに露出するリスクが高くなり、子供や青年のオンライン安全への懸念が高まっている。 これらの懸念にもかかわらず、ソーシャルメディア上での不正な画像ベースUGCGのプロモーションの問題に対処する研究はほとんどない。 この課題は、UGCG画像の総合的なトレーニングデータを得るのが困難であることと、従来の安全でないコンテンツとは異なる、これらの画像のユニークな性質から生じる。 本研究は、安全でないUGCGの違法なプロモーションの脅威を研究するための第一歩となる。 ゲームクリエーターがUGCGをプロモートするために使用する、さまざまな性的・暴力的なコンテンツを表示する2,924枚の画像からなる実世界のデータセットを収集する。 我々の詳細な研究は、この問題に対する新たな理解と、不正なUGCGプロモーションを自動的にフラグ付けする緊急の必要性を明らかにしている。 我々はまた、UGCGプロモーションに使用される画像を効果的に識別するソーシャルメディアプラットフォームを支援するために、最先端システムであるUGCG-Guardを作成した。 このシステムは、最近導入された大型視覚言語モデル(VLM)を活用し、コンテキスト識別のためのチェーン・オブ・シント(CoT)推論とともに、ゼロショット領域適応のための新しい条件付きプロンプト戦略を採用する。 UGCG-Guardは、現実世界のシナリオにおける不正なプロモーションに使用されるこれらの画像の検出において、94%の精度で優れた結果を得る。

関連論文リスト

• When Image Generation Goes Wrong: A Safety Analysis of Stable Diffusion Models [0.0]
  本研究では,10種類の安定拡散モデルによる有害画像の生成能力について検討した。 これらのモデルが不適切なコンテンツを生成することによって有害なプロンプトに応答することを示す。 以上の結果から,観察されたモデルでは,拒絶行動や安全対策が完全に欠如していることが示唆された。
  論文  参考訳（メタデータ） (2024-11-23T10:42:43Z)
• Revolutionizing Text-to-Image Retrieval as Autoregressive Token-to-Voken Generation [90.71613903956451]
  テキスト・ツー・イメージ検索はマルチメディア処理における基本的な課題である。 本稿では,AVGという自己回帰ボウケン生成手法を提案する。 AVGは有効性と有効性の両方において優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-24T13:39:51Z)
• Anonymization Prompt Learning for Facial Privacy-Preserving Text-to-Image Generation [56.46932751058042]
  我々は、テキストから画像への拡散モデルのための学習可能なプロンプトプレフィックスをトレーニングし、匿名化された顔のアイデンティティを生成するよう強制する。 実験では,非同一性固有の画像生成の品質を損なうことなく,特定の個人を匿名化するAPLの匿名化性能を実証した。
  論文  参考訳（メタデータ） (2024-05-27T07:38:26Z)
• SurrogatePrompt: Bypassing the Safety Filter of Text-to-Image Models via Substitution [21.93748586123046]
  我々は、Midjourneyに対する最初の即時攻撃を開発し、その結果、豊富なNSFW画像が生成される。 我々のフレームワークであるSurrogatePromptは、大規模言語モデル、画像からテキスト、画像から画像へのモジュールを利用して、攻撃プロンプトを体系的に生成する。 その結果、Midjourneyのプロプライエタリな安全フィルタを攻撃プロンプトでバイパスして88%の成功率を明らかにした。
  論文  参考訳（メタデータ） (2023-09-25T13:20:15Z)
• An Image is Worth a Thousand Toxic Words: A Metamorphic Testing Framework for Content Moderation Software [64.367830425115]
  ソーシャルメディアプラットフォームは、ヘイトスピーチ、悪意のある広告、ポルノなど、有害なコンテンツを拡散するためにますます悪用されている。 コンテンツモデレーション手法の開発と展開に多大な努力を払っているにもかかわらず、悪意のあるユーザは、テキストを画像に埋め込むことでモデレーションを回避することができる。 コンテンツモデレーションソフトウェアのためのメタモルフィックテストフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-18T20:33:06Z)
• Adversarial Nibbler: A Data-Centric Challenge for Improving the Safety of Text-to-Image Models [6.475537049815622]
  Adversarial Nibblerはデータ中心のチャレンジであり、DataPerfチャレンジスイートの一部として、KaggleとMLCommonsが組織し、サポートしている。
  論文  参考訳（メタデータ） (2023-05-22T15:02:40Z)
• On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
  我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。 ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-05-03T18:47:42Z)
• Membership Inference Attacks Against Text-to-image Generation Models [23.39695974954703]
  本稿では,メンバシップ推論のレンズを用いたテキスト・画像生成モデルの最初のプライバシ解析を行う。 本稿では,メンバーシップ情報に関する3つの重要な直観と,それに応じて4つの攻撃手法を設計する。 提案した攻撃はいずれも大きな性能を達成でき、場合によっては精度が1に近い場合もあり、既存のメンバーシップ推論攻撃よりもはるかに深刻なリスクとなる。
  論文  参考訳（メタデータ） (2022-10-03T14:31:39Z)
• Privacy Safe Representation Learning via Frequency Filtering Encoder [7.792424517008007]
  Adversarial Representation Learning (ARL) は、クライアント側で実行し、画像を難読化するエンコーダを訓練する一般的な手法である。 難読化イメージを安全に送信し、プライバシの懸念なくサーバ上のタスクに使用することができると仮定する。 我々は低域フィルタリングにより拡張された新しいARL手法を導入し、周波数領域で符号化される情報量を制限する。
  論文  参考訳（メタデータ） (2022-08-04T06:16:13Z)
• Two-stage Visual Cues Enhancement Network for Referring Image Segmentation [89.49412325699537]
  Referring Image (RIS)は、ある自然言語表現によって参照される画像から対象のオブジェクトをセグメント化することを目的としている。 本稿では,2段階のビジュアルキュー拡張ネットワーク(TV-Net)を考案し,この問題に対処する。 この2段階の強化により,提案するTV-Netは,自然言語表現と画像間のきめ細かいマッチング動作の学習において,より優れた性能を享受できる。
  論文  参考訳（メタデータ） (2021-10-09T02:53:39Z)
• Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network [92.01145655155374]
  監視されていない画像強調生成ネットワーク(UEGAN)を提案する。 教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。 その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。