論文の概要: Exploring the Boundaries of Content Moderation in Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2409.17155v1
- Date: Mon, 09 Sep 2024 18:37:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-30 06:32:26.188723
- Title: Exploring the Boundaries of Content Moderation in Text-to-Image Generation
- Title(参考訳): テキスト・画像生成におけるコンテンツモデレーションの境界探索
- Authors: Piera Riccio, Georgina Curto, Nuria Oliver,
- Abstract要約: 本稿では,5つのテキスト・ツー・イメージ(T2I)生成プラットフォームのコミュニティ安全ガイドラインを分析し,5つのT2Iモデルを監査する。
安全概念の定義と運用は困難であり, 公式の安全ガイドラインとT2Iモデルの実際の挙動の相違が反映されている。
- 参考スコア(独自算出の注目度): 9.476463361600828
- License:
- Abstract: This paper analyzes the community safety guidelines of five text-to-image (T2I) generation platforms and audits five T2I models, focusing on prompts related to the representation of humans in areas that might lead to societal stigma. While current research primarily focuses on ensuring safety by restricting the generation of harmful content, our study offers a complementary perspective. We argue that the concept of safety is difficult to define and operationalize, reflected in a discrepancy between the officially published safety guidelines and the actual behavior of the T2I models, and leading at times to over-censorship. Our findings call for more transparency and an inclusive dialogue about the platforms' content moderation practices, bearing in mind their global cultural and social impact.
- Abstract(参考訳): 本稿では,5つのテキスト・ツー・イメージ(T2I)生成プラットフォームにおけるコミュニティの安全ガイドラインを分析し,社会的スティグマにつながる可能性のある領域における人間の表現に関連するプロンプトに着目した5つのT2Iモデルを監査する。
現在の研究は、有害なコンテンツの発生を制限することによる安全性確保に重点を置いているが、この研究は相補的な視点を提供する。
安全の概念は定義と運用が困難であり、公式の安全ガイドラインとT2Iモデルの実際の振る舞いの相違に反映され、時には過検閲につながると論じている。
われわれの調査結果は、透明性の向上とプラットフォームにおけるコンテンツモデレーションの実践に関する包括的対話を、彼らのグローバルな文化的・社会的影響を念頭に置いて求めている。
関連論文リスト
- Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models [58.74606272936636]
テキスト・ツー・イメージ(T2I)拡散モデルは、テキスト・プロンプトと密接に対応した画像を生成する際、例外的な機能を示す。
モデルは、暴力やヌードの画像を生成したり、不適切な文脈で公共の人物の無許可の肖像画を作成するなど、悪意ある目的のために利用することができる。
悪質な概念や望ましくない概念の発生を防ぐために拡散モデルを変更する概念除去法が提案されている。
論文 参考訳(メタデータ) (2024-06-21T03:58:44Z) - Linkage on Security, Privacy and Fairness in Federated Learning: New Balances and New Perspectives [48.48294460952039]
この調査は、フェデレートラーニングにおけるプライバシー、セキュリティ、公平性の問題に関する包括的な説明を提供する。
プライバシーと公平性と、セキュリティと共有の間にはトレードオフがある、と私たちは主張する。
論文 参考訳(メタデータ) (2024-06-16T10:31:45Z) - The Unappreciated Role of Intent in Algorithmic Moderation of Social Media Content [2.2618341648062477]
本稿では,コンテンツモデレーションシステムにおける意図の役割について考察する。
本研究は,意識と意図を捉える能力を評価するために,オンライン虐待に対するアート検出モデルとベンチマークトレーニングデータセットの現状をレビューする。
論文 参考訳(メタデータ) (2024-05-17T18:05:13Z) - Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models [58.065255696601604]
拡散モデルの合成特性を使い、単一の画像生成において複数のプロンプトを利用することができる。
本論では, 画像生成の可能なすべてのアプローチを, 相手が適用可能な拡散モデルで検討することが重要であると論じる。
論文 参考訳(メタデータ) (2024-04-21T16:35:16Z) - Latent Guard: a Safety Framework for Text-to-image Generation [64.49596711025993]
既存の安全対策は、容易に回避できるテキストブラックリストや有害なコンテンツ分類に基づいている。
テキスト・ツー・イメージ生成の安全性向上を目的としたフレームワークであるLatent Guardを提案する。
ブラックリストベースのアプローチにインスパイアされたLatent Guardは、T2Iモデルのテキストエンコーダの上に潜在空間を学習し、有害な概念の存在を確認することができる。
論文 参考訳(メタデータ) (2024-04-11T17:59:52Z) - Harmonizing Global Voices: Culturally-Aware Models for Enhanced Content
Moderation [10.53562175155486]
メディアニュースや記事の広範なデータセットに基づいて大規模な言語モデルをトレーニングし、文化的に直感的なモデルを作成します。
その結果,広範囲なメディアデータセットのトレーニングが文化意識の獲得に成功し,地域レベルでのコンテンツ違反処理の改善につながった。
論文 参考訳(メタデータ) (2023-12-05T00:11:09Z) - Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts [63.61248884015162]
テキストと画像の拡散モデルは、高品質なコンテンツ生成において顕著な能力を示している。
本研究では,拡散モデルの問題を自動検出するツールとして,Prompting4 Debugging (P4D)を提案する。
この結果から,従来のセーフプロンプトベンチマークの約半数は,本来 "セーフ" と考えられていたので,実際に多くのデプロイされた安全機構を回避できることがわかった。
論文 参考訳(メタデータ) (2023-09-12T11:19:36Z) - AI's Regimes of Representation: A Community-centered Study of
Text-to-Image Models in South Asia [18.308417975842058]
我々は、生産的なAIが、世界の力や地域の力の不平等によって形作られた南アジアの文化を見るために、外部の人が目を向けてどのように再現できるかを示す。
我々は,T2Iモデルの開発に責任を負うための授業を蒸留し,具体的な経路を推奨する。
論文 参考訳(メタデータ) (2023-05-19T17:35:20Z) - Countering Malicious Content Moderation Evasion in Online Social
Networks: Simulation and Detection of Word Camouflage [64.78260098263489]
ツイストとカモフラージュキーワードは、プラットフォームコンテンツモデレーションシステムを回避する最もよく使われるテクニックである。
本稿では,コンテンツ回避の新たな手法をシミュレートし,検出する多言語ツールを開発することにより,悪意ある情報に対する対処に大きく貢献する。
論文 参考訳(メタデータ) (2022-12-27T16:08:49Z) - SoK: Content Moderation in Social Media, from Guidelines to Enforcement,
and Research to Practice [9.356143195807064]
米国におけるソーシャルメディアコンテンツモデレーションのガイドラインと実践について調査する。
主流のソーシャルメディアプラットフォームで採用されているコンテンツモデレーションと、フリンジプラットフォームで採用されているコンテンツモデレーションの違いを識別する。
プラットフォームがワンサイズのモデルから、より包括的なモデルに移行するべき理由を強調します。
論文 参考訳(メタデータ) (2022-06-29T18:48:04Z) - Cyber Security Behaviour In Organisations [0.0]
このレビューでは、組織における日々のサイバーセキュリティの文脈における学術的・政策的な文献について考察する。
サイバーセキュリティの実践方法に影響を与える4つの行動セットを特定します。
これらは、セキュリティポリシ、グループ間の調整と通信、フィッシング/メールの動作、パスワードの動作に準拠する。
論文 参考訳(メタデータ) (2020-04-24T14:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。