論文の概要: How Generative AI Empowers Attackers and Defenders Across the Trust & Safety Landscape
- arxiv url: http://arxiv.org/abs/2601.06033v1
- Date: Mon, 10 Nov 2025 22:00:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-25 16:54:51.567434
- Title: How Generative AI Empowers Attackers and Defenders Across the Trust & Safety Landscape
- Title（参考訳）: ジェネレーティブAIはいかにして、攻撃者や防御者を信頼と安全の風景に駆り立てるか
- Authors: Patrick Gage Kelley, Steven Rousso-Schindler, Renee Shelby, Kurt Thomas, Allison Woodruff,
- Abstract要約: Generative AI(GenAI)は、Trust & Safetyを再構築するための強力な技術である。
本稿では,5つの領域にわたるトラスト・アンド・セーフティの専門家43名による質的研究を通じて,これらの効果について検討する。
我々は,GenAIが攻撃者および防衛者の両方に力を与える環境を特徴付ける。
- 参考スコア（独自算出の注目度）: 11.595839203885816
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI (GenAI) is a powerful technology poised to reshape Trust & Safety. While misuse by attackers is a growing concern, its defensive capacity remains underexplored. This paper examines these effects through a qualitative study with 43 Trust & Safety experts across five domains: child safety, election integrity, hate and harassment, scams, and violent extremism. Our findings characterize a landscape in which GenAI empowers both attackers and defenders. GenAI dramatically increases the scale and speed of attacks, lowering the barrier to entry for creating harmful content, including sophisticated propaganda and deepfakes. Conversely, defenders envision leveraging GenAI to detect and mitigate harmful content at scale, conduct investigations, deploy persuasive counternarratives, improve moderator wellbeing, and offer user support. This work provides a strategic framework for understanding GenAI's impact on Trust & Safety and charts a path for its responsible use in creating safer online environments.
- Abstract（参考訳）: Generative AI(GenAI)は、Trust & Safetyを再構築するための強力な技術である。
攻撃者による誤用はますます懸念されているが、その防御能力はいまだに過小評価されている。
本稿では,子どもの安全,選挙の完全性,憎悪とハラスメント,詐欺,暴力的過激主義という5つの領域にわたる,43人の信頼と安全の専門家による質的研究を通じて,これらの効果を検証した。
我々は,GenAIが攻撃者および防衛者の両方に力を与える環境を特徴付ける。
GenAIは攻撃の規模と速度を劇的に向上させ、高度なプロパガンダやディープフェイクを含む有害なコンテンツを作るための参入障壁を低くする。
逆に、防衛側はGenAIを活用して、有害なコンテンツを大規模に検出・緩和し、調査を行い、説得的対応を展開し、モデレーターのウェルビーイングを改善し、ユーザサポートを提供する。
この作業は、GenAIがTrust & Safetyに与える影響を理解するための戦略的フレームワークを提供し、より安全なオンライン環境を構築するための責任ある使用経路をグラフ化します。
関連論文リスト
- Generative AI for Biosciences: Emerging Threats and Roadmap to Biosecurity [56.331312963880215]
生物科学における生成人工知能(GenAI)は、バイオテクノロジー、医学、合成生物学を変革している。
この概要は、バイオサイエンスにおけるGenAIの現状と、脱獄攻撃やプライバシーリスクから、自律的なAIエージェントによって引き起こされるデュアルユースな課題まで、出現する脅威ベクターの概要を概説する。
我々は、厳格なデータフィルタリング、開発中の倫理原則との整合性、有害な要求をブロックするためのリアルタイム監視など、GenAIの安全性に対する多層的なアプローチを提唱する。
論文 参考訳（メタデータ） (2025-10-13T00:24:41Z) - SoK: Watermarking for AI-Generated Content [112.9218881276487]
ウォーターマーキングスキームは、AI生成コンテンツに隠された信号を埋め込んで、信頼性の高い検出を可能にする。
透かしは、誤情報や偽造と戦ってAIの安全性と信頼性を高める上で重要な役割を果たす。
本研究の目的は、研究者が透かし法や応用の進歩を指導し、GenAIの幅広い意味に対処する政策立案者を支援することである。
論文 参考訳（メタデータ） (2024-11-27T16:22:33Z) - Security of and by Generative AI platforms [0.0]
このホワイトペーパーは、生成AI(genAI)プラットフォームを確保し、サイバーセキュリティにgenAIを活用することの2つの重要性を強調している。
genAI技術の普及に伴い、その誤用はデータ漏洩、モデル改ざん、悪意のあるコンテンツ生成など、重大なリスクをもたらす。
ホワイトペーパーでは、genAIシステムに関する堅牢なセキュリティフレームワークの戦略を探求するとともに、高度なサイバー脅威を予測、検出、緩和する組織にgenAIがどのように力を与えるかを説明している。
論文 参考訳（メタデータ） (2024-10-15T15:27:05Z) - Adversarial Robustness of AI-Generated Image Detectors in the Real World [13.52355280061187]
現状の最先端分類器は,実環境下での敵例に対して脆弱であることを示す。
ほとんどの攻撃は、例えばソーシャルメディアプラットフォームへのアップロード中に画像が劣化しても有効である。
ケーススタディでは、HIVEに対してブラックボックス攻撃を行うことにより、これらの堅牢性の課題が商用ツールにも見られることを示した。
論文 参考訳（メタデータ） (2024-10-02T14:11:29Z) - Review of Generative AI Methods in Cybersecurity [0.6990493129893112]
本稿では、Generative AI(GenAI)の現状について概観する。
暴行、脱獄、即時注射と逆心理学の応用をカバーしている。
また、サイバー犯罪におけるGenAIのさまざまな応用として、自動ハッキング、フィッシングメール、ソーシャルエンジニアリング、リバース暗号、攻撃ペイロードの作成、マルウェアの作成などを提供している。
論文 参考訳（メタデータ） (2024-03-13T17:05:05Z) - From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and
Privacy [0.0]
この研究論文は、サイバーセキュリティとプライバシの領域におけるGenAIの限界、課題、潜在的なリスク、そして機会を強調している。
本稿では、サイバー犯罪者がGenAIツールをサイバー攻撃に利用する方法について検討する。
また、ChatGPTの社会的、法的、倫理的意味についても論じる。
論文 参考訳（メタデータ） (2023-07-03T00:36:57Z) - Impacts and Risk of Generative AI Technology on Cyber Defense [0.0]
我々は,サイバー攻撃のライフサイクルを理解するために,CKC(Cyber Kill Chain)を活用することを提案する。
本稿では,GenAI手法の攻撃的利用によるリスク領域の包括的分析を行うことを目的とする。
我々はまた、脅威俳優が採用する戦略を分析し、サイバー防衛の意義を強調した。
論文 参考訳（メタデータ） (2023-06-22T16:51:41Z) - A Pathway Towards Responsible AI Generated Content [68.13835802977125]
我々は、AIGCの健全な開発と展開を妨げかねない8つの主要な懸念に焦点を当てている。
これらの懸念には、(1)プライバシー、(2)バイアス、毒性、誤情報、(3)知的財産(IP)、(4)堅牢性、(5)オープンソースと説明、(6)技術の乱用、(7)同意、信用、補償、(8)環境からのリスクが含まれる。
論文 参考訳（メタデータ） (2023-03-02T14:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。