論文の概要: Typology of Risks of Generative Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2307.05543v1
• Date: Sat, 8 Jul 2023 20:33:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 16:27:20.307403
• Title: Typology of Risks of Generative Text-to-Image Models
• Title（参考訳）: 生成テキスト・画像モデルのリスクの分類
• Authors: Charlotte Bird and Eddie L. Ungless and Atoosa Kasirzadeh
• Abstract要約: 本稿では,DALL-EやMidjourneyといった現代テキスト・画像生成モデルにかかわる直接的なリスクと害について検討する。 これらのリスクの理解と治療に関する知識のギャップは,すでに解決されているものの,我々のレビューでは明らかである。 データバイアスから悪意のある使用まで、22の異なるリスクタイプを特定します。
• 参考スコア（独自算出の注目度）: 1.933681537640272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the direct risks and harms associated with modern text-to-image generative models, such as DALL-E and Midjourney, through a comprehensive literature review. While these models offer unprecedented capabilities for generating images, their development and use introduce new types of risk that require careful consideration. Our review reveals significant knowledge gaps concerning the understanding and treatment of these risks despite some already being addressed. We offer a taxonomy of risks across six key stakeholder groups, inclusive of unexplored issues, and suggest future research directions. We identify 22 distinct risk types, spanning issues from data bias to malicious use. The investigation presented here is intended to enhance the ongoing discourse on responsible model development and deployment. By highlighting previously overlooked risks and gaps, it aims to shape subsequent research and governance initiatives, guiding them toward the responsible, secure, and ethically conscious evolution of text-to-image models.
• Abstract（参考訳）: 本稿では,dall-eやmidjourneyといった現代テキストから画像への生成モデルに対する直接的なリスクと害について,包括的な文献レビューを通じて検討する。 これらのモデルは画像を生成するのに前例のない能力を提供するが、その開発と利用は注意を要する新しいタイプのリスクをもたらす。 今回のレビューでは,すでに対処済みのリスクの理解と対処に関して,重要な知識のギャップが明らかにされている。 我々は、未解決の問題を含む6つの主要な利害関係者グループにわたるリスクの分類を提供し、今後の研究方向性を提案する。 データバイアスから悪意のある使用まで、22の異なるリスクタイプを特定します。 ここで示した調査は、責任のあるモデルの開発とデプロイに関する現在進行中の談話を強化することを目的としている。 それまで見過ごされていたリスクとギャップを強調することで、その後の研究とガバナンスのイニシアチブを形作り、テキストから画像へのモデルの責任、安全、倫理的に意識された進化へと導くことを目指している。

関連論文リスト

• Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
  Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。 RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。 RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
  論文  参考訳（メタデータ） (2025-02-08T06:50:47Z)
• Safety at Scale: A Comprehensive Survey of Large Model Safety [299.801463557549]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• Supervision policies can shape long-term risk management in general-purpose AI models [0.0]
  本研究では,リスク,インシデント,あるいはハザード報告のエコシステムの多様な状況から抽出された特徴をパラメータ化したシミュレーションフレームワークを開発する。 リスクタイプを包括的に網羅した高優先度リスクのバランスをとる)非優先順位付け(優先、優先)、ランダム選択、優先度付け(優先)、多様性優先(優先)の4つの政策を評価する。 以上の結果から, 優先的かつ多様性優先的な政策は, 高影響リスク軽減に有効であるが, より広範なコミュニティが報告した制度的問題を無視している可能性が示唆された。
  論文  参考訳（メタデータ） (2025-01-10T17:52:34Z)
• DODGE: Ontology-Aware Risk Assessment via Object-Oriented Disruption Graphs [0.9387233631570749]
  共通オントロジー・オブ・バリュー・アンド・リスク(COVER)は、透明で完全かつ説明可能なリスク評価を実行する上で、オブジェクトとそれらの関係がいかに重要であるかを強調している。 我々は、リスクアセスメントのための新しい枠組みであるDODGEを提示することで、COVERが提案する概念のいくつかを運用する。
  論文  参考訳（メタデータ） (2024-12-18T15:44:04Z)
• A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
  大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。 本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。 我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
  論文  参考訳（メタデータ） (2024-10-15T02:51:32Z)
• Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
  より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。 リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
  論文  参考訳（メタデータ） (2024-08-16T17:23:43Z)
• On the Societal Impact of Open Foundation Models [93.67389739906561]
  ここでは、広く利用可能なモデルウェイトを持つものとして定義されている、オープンファンデーションモデルに重点を置いています。 オープンファンデーションモデルの5つの特徴を識別し,その利点とリスクを両立させる。
  論文  参考訳（メタデータ） (2024-02-27T16:49:53Z)
• C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models [57.10361282229501]
  RAGモデルの生成リスクを認証する最初のフレームワークであるC-RAGを提案する。 具体的には、RAGモデルに対して共形リスク分析を行い、生成リスクの上限以上の信頼度を認定する。 検索モデルと変圧器の品質が非自明な場合, RAG は単一の LLM よりも低い共形生成リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T16:46:16Z)
• Language Generation Models Can Cause Harm: So What Can We Do About It? An Actionable Survey [50.58063811745676]
  この研究は、言語生成モデルから潜在的脅威や社会的害に対処するための実践的な方法の調査を提供する。 言語生成者のさまざまなリスク・ハームを検知・改善するための戦略の構造化された概要を提示するために、言語モデルリスクのいくつかの先行研究を取り上げる。
  論文  参考訳（メタデータ） (2022-10-14T10:43:39Z)
• Membership Inference Attacks Against Text-to-image Generation Models [23.39695974954703]
  本稿では,メンバシップ推論のレンズを用いたテキスト・画像生成モデルの最初のプライバシ解析を行う。 本稿では,メンバーシップ情報に関する3つの重要な直観と,それに応じて4つの攻撃手法を設計する。 提案した攻撃はいずれも大きな性能を達成でき、場合によっては精度が1に近い場合もあり、既存のメンバーシップ推論攻撃よりもはるかに深刻なリスクとなる。
  論文  参考訳（メタデータ） (2022-10-03T14:31:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。