論文の概要: PyRIT: A Framework for Security Risk Identification and Red Teaming in Generative AI System

• arxiv url: http://arxiv.org/abs/2410.02828v1
• Date: Tue, 1 Oct 2024 17:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 05:34:38.630596
• Title: PyRIT: A Framework for Security Risk Identification and Red Teaming in Generative AI System
• Title（参考訳）: PyRIT: ジェネレーティブAIシステムにおけるセキュリティリスク識別とレッドチームのためのフレームワーク
• Authors: Gary D. Lopez Munoz, Amanda J. Minnich, Roman Lutz, Richard Lundeen, Raja Sekhar Rao Dheekonda, Nina Chikanov, Bolor-Erdene Jagdagdorj, Martin Pouliot, Shiven Chawla, Whitney Maxwell, Blake Bullwinkel, Katherine Pratt, Joris de Gruyter, Charlotte Siska, Pete Bryan, Tori Westerhoff, Chang Kawaguchi, Christian Seifert, Ram Shankar Siva Kumar, Yonatan Zunger,
• Abstract要約: PyRITは、GenAIシステムにおけるレッドチーム化の取り組みを強化するために設計されたオープンソースのフレームワークである。 レッドチームでは、マルチモーダル生成AIモデルにおいて、新しい害、リスク、ジェイルブレイクを探索し、特定することができる。 本稿では,PyRITの開発と機能,および実世界のシナリオにおける実践的応用について述べる。
• 参考スコア（独自算出の注目度）: 0.28924356705380033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Artificial Intelligence (GenAI) is becoming ubiquitous in our daily lives. The increase in computational power and data availability has led to a proliferation of both single- and multi-modal models. As the GenAI ecosystem matures, the need for extensible and model-agnostic risk identification frameworks is growing. To meet this need, we introduce the Python Risk Identification Toolkit (PyRIT), an open-source framework designed to enhance red teaming efforts in GenAI systems. PyRIT is a model- and platform-agnostic tool that enables red teamers to probe for and identify novel harms, risks, and jailbreaks in multimodal generative AI models. Its composable architecture facilitates the reuse of core building blocks and allows for extensibility to future models and modalities. This paper details the challenges specific to red teaming generative AI systems, the development and features of PyRIT, and its practical applications in real-world scenarios.
• Abstract（参考訳）: ジェネレーティブ・人工知能(GenAI)は、私たちの日常生活でユビキタスになりつつある。 計算能力とデータの可用性の向上により、シングルモーダルモデルとマルチモーダルモデルの両方が急増した。 GenAIエコシステムが成熟するにつれて、拡張性とモデルに依存しないリスク識別フレームワークの必要性が高まっている。 このニーズに応えるため,我々はPython Risk Identification Toolkit (PyRIT)を紹介した。 PyRITはモデルとプラットフォームに依存しないツールで、マルチモーダル生成型AIモデルにおいて、レッドチームで新しい害、リスク、ジェイルブレイクを探索し、特定することができる。 その構成可能なアーキテクチャは、コアビルディングブロックの再利用を促進し、将来のモデルやモダリティの拡張を可能にする。 本稿では,PyRITの開発と機能,および実世界のシナリオにおける実践的応用について述べる。

関連論文リスト

• XAI-based Feature Ensemble for Enhanced Anomaly Detection in Autonomous Driving Systems [1.3022753212679383]
  本稿では,複数の Explainable AI (XAI) メソッドを統合する新しい機能アンサンブルフレームワークを提案する。 このフレームワークは、6つの多様なAIモデルにまたがって、これらのXAIメソッドによって識別されるトップ機能を融合することによって、異常の検出に不可欠な堅牢で包括的な機能のセットを生成する。 我々の技術は、AIモデルの精度、堅牢性、透明性の向上を示し、より安全で信頼性の高い自動運転システムに貢献します。
  論文  参考訳（メタデータ） (2024-10-20T14:34:48Z)
• Generative AI Systems: A Systems-based Perspective on Generative AI [12.400966570867322]
  大規模言語モデル(LLM)は、自然言語を用いた機械との通信を可能にすることで、AIシステムに革命をもたらした。 ジェネレーティブAI(GenAI)の最近の進歩は、マルチモーダルシステムとしてLLMを使うことに大きな期待を示している。 本稿では,ジェネレーティブAIシステムにおける新たな研究の方向性を探求し,述べることを目的とする。
  論文  参考訳（メタデータ） (2024-06-25T12:51:47Z)
• Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
  Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。 こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。 この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
  論文  参考訳（メタデータ） (2024-05-14T13:37:36Z)
• Against The Achilles' Heel: A Survey on Red Teaming for Generative Models [60.21722603260243]
  120以上の論文を調査し,言語モデル固有の能力に根ざした,きめ細かい攻撃戦略の分類を導入した。 我々は、様々な自動レッドチーム化アプローチを統合するために、"searcher"フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-03-31T09:50:39Z)
• On the Challenges and Opportunities in Generative AI [135.2754367149689]
  現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。 本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
  論文  参考訳（メタデータ） (2024-02-28T15:19:33Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• Large Generative AI Models for Telecom: The Next Big Thing? [7.36678071967351]
  大型のGenAIモデルは、自律的無線ネットワークの新しい時代を開くことを想定している。 本稿では,大規模なGenAIモデルをTelecomドメインに統合することで実現可能な機会を広げることを目的としている。
  論文  参考訳（メタデータ） (2023-06-17T03:45:00Z)
• Investigating Explainability of Generative AI for Code through Scenario-based Design [44.44517254181818]
  生成AI(GenAI)技術は成熟し、ソフトウェア工学のようなアプリケーションドメインに適用されています。 私たちは43人のソフトウェアエンジニアと9つのワークショップを開催しました。そこでは、最先端のジェネレーティブAIモデルの実例を使って、ユーザの説明可能性のニーズを導き出しました。 我々の研究は、GenAIのコードに対する説明可能性の必要性を探求し、新しいドメインにおけるXAIの技術開発を人間中心のアプローチがいかに促進するかを実証する。
  論文  参考訳（メタデータ） (2022-02-10T08:52:39Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• Distributed and Democratized Learning: Philosophy and Research Challenges [80.39805582015133]
  民主化学習(Dem-AI)という新しいデザイン哲学を提案する。 ヒトの社会的グループに触発され、提案されたDem-AIシステムの学習エージェントの専門グループは階層構造で自己組織化され、より効率的に学習タスクを遂行する。 本稿では,様々な学際分野に触発された未来のDem-AIシステムを実現するためのガイドラインとして,参照設計を提案する。
  論文  参考訳（メタデータ） (2020-03-18T08:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。