論文の概要: Exploring the Boundaries of Content Moderation in Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2409.17155v1
- Date: Mon, 9 Sep 2024 18:37:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 17:00:06.937920
- Title: Exploring the Boundaries of Content Moderation in Text-to-Image Generation
- Title（参考訳）: テキスト・画像生成におけるコンテンツモデレーションの境界探索
- Authors: Piera Riccio, Georgina Curto, Nuria Oliver,
- Abstract要約: 本稿では,5つのテキスト・ツー・イメージ(T2I)生成プラットフォームのコミュニティ安全ガイドラインを分析し,5つのT2Iモデルを監査する。
安全概念の定義と運用は困難であり, 公式の安全ガイドラインとT2Iモデルの実際の挙動の相違が反映されている。
- 参考スコア（独自算出の注目度）: 9.476463361600828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper analyzes the community safety guidelines of five text-to-image (T2I) generation platforms and audits five T2I models, focusing on prompts related to the representation of humans in areas that might lead to societal stigma. While current research primarily focuses on ensuring safety by restricting the generation of harmful content, our study offers a complementary perspective. We argue that the concept of safety is difficult to define and operationalize, reflected in a discrepancy between the officially published safety guidelines and the actual behavior of the T2I models, and leading at times to over-censorship. Our findings call for more transparency and an inclusive dialogue about the platforms' content moderation practices, bearing in mind their global cultural and social impact.
- Abstract（参考訳）: 本稿では,5つのテキスト・ツー・イメージ(T2I)生成プラットフォームにおけるコミュニティの安全ガイドラインを分析し,社会的スティグマにつながる可能性のある領域における人間の表現に関連するプロンプトに着目した5つのT2Iモデルを監査する。
現在の研究は、有害なコンテンツの発生を制限することによる安全性確保に重点を置いているが、この研究は相補的な視点を提供する。
安全の概念は定義と運用が困難であり、公式の安全ガイドラインとT2Iモデルの実際の振る舞いの相違に反映され、時には過検閲につながると論じている。
われわれの調査結果は、透明性の向上とプラットフォームにおけるコンテンツモデレーションの実践に関する包括的対話を、彼らのグローバルな文化的・社会的影響を念頭に置いて求めている。
関連論文リスト
- Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [49.60774626839712]
マルチモーダル生成モデルのトレーニングは、ユーザを有害で安全でない、議論の余地のない、あるいは文化的に不適切なアウトプットに晒すことができる。
安全コンテクストの埋め込みと、より安全な画像を生成するための二重再構成プロセスを活用するモジュール型動的ソリューションを提案する。
我々は、モデル安全性の制御可能なバリエーションを提供しながら、安全な画像生成ベンチマークの最先端結果を達成する。
論文 参考訳（メタデータ） (2024-11-21T09:47:13Z) - Safe Text-to-Image Generation: Simply Sanitize the Prompt Embedding [13.481343482138888]
視覚に依存しない安全な生成フレームワーク Embedding Sanitizer (ES) を提案する。
ESは、迅速な埋め込みから不適切な概念を消去することに焦点を当て、安全な生成のためにモデルをガイドするために、衛生的な埋め込みを使用する。
ESは、生成品質を維持しつつ、解釈性と制御性の観点から既存の安全ガードを著しく上回っている。
論文 参考訳（メタデータ） (2024-11-15T16:29:02Z) - SAFREE: Training-Free and Adaptive Guard for Safe Text-to-Image And Video Generation [65.30207993362595]
安全な生成のための学習/編集に基づく手法は、モデルから有害な概念を取り除くが、いくつかの課題に直面している。
安全なT2IとT2VのためのトレーニングフリーアプローチであるSAFREEを提案する。
テキスト埋め込み空間における有毒な概念の集合に対応する部分空間を検出し、この部分空間から直ちに埋め込みを行う。
論文 参考訳（メタデータ） (2024-10-16T17:32:23Z) - Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models [58.74606272936636]
テキスト・ツー・イメージ(T2I)拡散モデルは、テキスト・プロンプトと密接に対応した画像を生成する際、例外的な機能を示す。
モデルは、暴力やヌードの画像を生成したり、不適切な文脈で公共の人物の無許可の肖像画を作成するなど、悪意ある目的のために利用することができる。
悪質な概念や望ましくない概念の発生を防ぐために拡散モデルを変更する概念除去法が提案されている。
論文 参考訳（メタデータ） (2024-06-21T03:58:44Z) - The Unappreciated Role of Intent in Algorithmic Moderation of Social Media Content [2.2618341648062477]
本稿では,コンテンツモデレーションシステムにおける意図の役割について考察する。
本研究は,意識と意図を捉える能力を評価するために,オンライン虐待に対するアート検出モデルとベンチマークトレーニングデータセットの現状をレビューする。
論文 参考訳（メタデータ） (2024-05-17T18:05:13Z) - Recent Advances in Hate Speech Moderation: Multimodality and the Role of Large Models [52.24001776263608]
この包括的調査は、HSモデレーションの最近の歩みを掘り下げている。
大型言語モデル(LLM)と大規模マルチモーダルモデル(LMM)の急成長する役割を強調した。
研究における既存のギャップを、特に表現不足言語や文化の文脈で特定する。
論文 参考訳（メタデータ） (2024-01-30T03:51:44Z) - Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts [63.61248884015162]
テキストと画像の拡散モデルは、高品質なコンテンツ生成において顕著な能力を示している。
本研究では,拡散モデルの問題を自動検出するツールとして,Prompting4 Debugging (P4D)を提案する。
この結果から,従来のセーフプロンプトベンチマークの約半数は,本来 "セーフ" と考えられていたので,実際に多くのデプロイされた安全機構を回避できることがわかった。
論文 参考訳（メタデータ） (2023-09-12T11:19:36Z) - AI's Regimes of Representation: A Community-centered Study of
Text-to-Image Models in South Asia [18.308417975842058]
我々は、生産的なAIが、世界の力や地域の力の不平等によって形作られた南アジアの文化を見るために、外部の人が目を向けてどのように再現できるかを示す。
我々は,T2Iモデルの開発に責任を負うための授業を蒸留し,具体的な経路を推奨する。
論文 参考訳（メタデータ） (2023-05-19T17:35:20Z) - Countering Malicious Content Moderation Evasion in Online Social
Networks: Simulation and Detection of Word Camouflage [64.78260098263489]
ツイストとカモフラージュキーワードは、プラットフォームコンテンツモデレーションシステムを回避する最もよく使われるテクニックである。
本稿では,コンテンツ回避の新たな手法をシミュレートし,検出する多言語ツールを開発することにより,悪意ある情報に対する対処に大きく貢献する。
論文 参考訳（メタデータ） (2022-12-27T16:08:49Z) - SoK: Content Moderation in Social Media, from Guidelines to Enforcement,
and Research to Practice [9.356143195807064]
米国におけるソーシャルメディアコンテンツモデレーションのガイドラインと実践について調査する。
主流のソーシャルメディアプラットフォームで採用されているコンテンツモデレーションと、フリンジプラットフォームで採用されているコンテンツモデレーションの違いを識別する。
プラットフォームがワンサイズのモデルから、より包括的なモデルに移行するべき理由を強調します。
論文 参考訳（メタデータ） (2022-06-29T18:48:04Z) - Cyber Security Behaviour In Organisations [0.0]
このレビューでは、組織における日々のサイバーセキュリティの文脈における学術的・政策的な文献について考察する。
サイバーセキュリティの実践方法に影響を与える4つの行動セットを特定します。
これらは、セキュリティポリシ、グループ間の調整と通信、フィッシング/メールの動作、パスワードの動作に準拠する。
論文 参考訳（メタデータ） (2020-04-24T14:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。