論文の概要: PyRIT: A Framework for Security Risk Identification and Red Teaming in Generative AI System

• arxiv url: http://arxiv.org/abs/2410.02828v1
• Date: Tue, 1 Oct 2024 17:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 05:34:38.630596
• Title: PyRIT: A Framework for Security Risk Identification and Red Teaming in Generative AI System
• Title（参考訳）: PyRIT: ジェネレーティブAIシステムにおけるセキュリティリスク識別とレッドチームのためのフレームワーク
• Authors: Gary D. Lopez Munoz, Amanda J. Minnich, Roman Lutz, Richard Lundeen, Raja Sekhar Rao Dheekonda, Nina Chikanov, Bolor-Erdene Jagdagdorj, Martin Pouliot, Shiven Chawla, Whitney Maxwell, Blake Bullwinkel, Katherine Pratt, Joris de Gruyter, Charlotte Siska, Pete Bryan, Tori Westerhoff, Chang Kawaguchi, Christian Seifert, Ram Shankar Siva Kumar, Yonatan Zunger,
• Abstract要約: PyRITは、GenAIシステムにおけるレッドチーム化の取り組みを強化するために設計されたオープンソースのフレームワークである。 レッドチームでは、マルチモーダル生成AIモデルにおいて、新しい害、リスク、ジェイルブレイクを探索し、特定することができる。 本稿では,PyRITの開発と機能,および実世界のシナリオにおける実践的応用について述べる。
• 参考スコア（独自算出の注目度）: 0.28924356705380033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Artificial Intelligence (GenAI) is becoming ubiquitous in our daily lives. The increase in computational power and data availability has led to a proliferation of both single- and multi-modal models. As the GenAI ecosystem matures, the need for extensible and model-agnostic risk identification frameworks is growing. To meet this need, we introduce the Python Risk Identification Toolkit (PyRIT), an open-source framework designed to enhance red teaming efforts in GenAI systems. PyRIT is a model- and platform-agnostic tool that enables red teamers to probe for and identify novel harms, risks, and jailbreaks in multimodal generative AI models. Its composable architecture facilitates the reuse of core building blocks and allows for extensibility to future models and modalities. This paper details the challenges specific to red teaming generative AI systems, the development and features of PyRIT, and its practical applications in real-world scenarios.
• Abstract（参考訳）: ジェネレーティブ・人工知能(GenAI)は、私たちの日常生活でユビキタスになりつつある。 計算能力とデータの可用性の向上により、シングルモーダルモデルとマルチモーダルモデルの両方が急増した。 GenAIエコシステムが成熟するにつれて、拡張性とモデルに依存しないリスク識別フレームワークの必要性が高まっている。 このニーズに応えるため,我々はPython Risk Identification Toolkit (PyRIT)を紹介した。 PyRITはモデルとプラットフォームに依存しないツールで、マルチモーダル生成型AIモデルにおいて、レッドチームで新しい害、リスク、ジェイルブレイクを探索し、特定することができる。 その構成可能なアーキテクチャは、コアビルディングブロックの再利用を促進し、将来のモデルやモダリティの拡張を可能にする。 本稿では,PyRITの開発と機能,および実世界のシナリオにおける実践的応用について述べる。

関連論文リスト

• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• Foundations of GenIR [14.45971746205563]
  この章では、情報アクセスシステムにおける現代の生成AIモデルの基盤的影響について論じている。 従来のAIとは対照的に、生成AIモデルの大規模なトレーニングと優れたデータモデリングにより、高品質で人間らしい応答を生成することができる。
  論文  参考訳（メタデータ） (2025-01-06T08:38:29Z)
• Generative AI Systems: A Systems-based Perspective on Generative AI [12.400966570867322]
  大規模言語モデル(LLM)は、自然言語を用いた機械との通信を可能にすることで、AIシステムに革命をもたらした。 ジェネレーティブAI(GenAI)の最近の進歩は、マルチモーダルシステムとしてLLMを使うことに大きな期待を示している。 本稿では,ジェネレーティブAIシステムにおける新たな研究の方向性を探求し,述べることを目的とする。
  論文  参考訳（メタデータ） (2024-06-25T12:51:47Z)
• Generative AI Models: Opportunities and Risks for Industry and Authorities [1.3196892898418466]
  生成AIモデルは、伝統的に創造性と人間の理解を必要とする幅広いタスクを実行することができる。 トレーニング中は、既存のデータからパターンを学び、その後、新しいコンテンツを生成することができる。 生成AIに関連する多くのリスクは、開発中に対処する必要がある。
  論文  参考訳（メタデータ） (2024-06-07T08:34:30Z)
• Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
  Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。 こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。 この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
  論文  参考訳（メタデータ） (2024-05-14T13:37:36Z)
• Against The Achilles' Heel: A Survey on Red Teaming for Generative Models [60.21722603260243]
  120以上の論文を調査し,言語モデル固有の能力に根ざした,きめ細かい攻撃戦略の分類を導入した。 我々は、様々な自動レッドチーム化アプローチを統合するために、"searcher"フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-03-31T09:50:39Z)
• On the Challenges and Opportunities in Generative AI [135.2754367149689]
  現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。 本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
  論文  参考訳（メタデータ） (2024-02-28T15:19:33Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• Large Generative AI Models for Telecom: The Next Big Thing? [7.36678071967351]
  大型のGenAIモデルは、自律的無線ネットワークの新しい時代を開くことを想定している。 本稿では,大規模なGenAIモデルをTelecomドメインに統合することで実現可能な機会を広げることを目的としている。
  論文  参考訳（メタデータ） (2023-06-17T03:45:00Z)
• Distributed and Democratized Learning: Philosophy and Research Challenges [80.39805582015133]
  民主化学習(Dem-AI)という新しいデザイン哲学を提案する。 ヒトの社会的グループに触発され、提案されたDem-AIシステムの学習エージェントの専門グループは階層構造で自己組織化され、より効率的に学習タスクを遂行する。 本稿では,様々な学際分野に触発された未来のDem-AIシステムを実現するためのガイドラインとして,参照設計を提案する。
  論文  参考訳（メタデータ） (2020-03-18T08:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。