論文の概要: In-House Evaluation Is Not Enough: Towards Robust Third-Party Flaw Disclosure for General-Purpose AI

• arxiv url: http://arxiv.org/abs/2503.16861v2
• Date: Tue, 25 Mar 2025 05:12:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 10:43:58.139211
• Title: In-House Evaluation Is Not Enough: Towards Robust Third-Party Flaw Disclosure for General-Purpose AI
• Title（参考訳）: 家庭内評価は十分ではない:汎用AIのためのロバストなサードパーティの欠陥開示に向けて
• Authors: Shayne Longpre, Kevin Klyman, Ruth E. Appel, Sayash Kapoor, Rishi Bommasani, Michelle Sahar, Sean McGregor, Avijit Ghosh, Borhane Blili-Hamelin, Nathan Butters, Alondra Nelson, Amit Elazari, Andrew Sellars, Casey John Ellis, Dane Sherrets, Dawn Song, Harley Geiger, Ilona Cohen, Lauren McIlvenny, Madhulika Srikumar, Mark M. Jaycox, Markus Anderljung, Nadine Farid Johnson, Nicholas Carlini, Nicolas Miailhe, Nik Marda, Peter Henderson, Rebecca S. Portnoff, Rebecca Weiss, Victoria Westerhoff, Yacine Jernite, Rumman Chowdhury, Percy Liang, Arvind Narayanan,
• Abstract要約: 我々はシステムの安全性を高めるために3つの介入を要求します。 まず、標準化されたAI欠陥レポートと研究者へのエンゲージメントのルールを用いることを提案する。 第2に,GPAIシステムプロバイダが広視野欠陥開示プログラムを採用することを提案する。 第3に,欠陥報告の分布を調整するための改良されたインフラの開発を提唱する。
• 参考スコア（独自算出の注目度）: 93.33036653316591
• License:
• Abstract: The widespread deployment of general-purpose AI (GPAI) systems introduces significant new risks. Yet the infrastructure, practices, and norms for reporting flaws in GPAI systems remain seriously underdeveloped, lagging far behind more established fields like software security. Based on a collaboration between experts from the fields of software security, machine learning, law, social science, and policy, we identify key gaps in the evaluation and reporting of flaws in GPAI systems. We call for three interventions to advance system safety. First, we propose using standardized AI flaw reports and rules of engagement for researchers in order to ease the process of submitting, reproducing, and triaging flaws in GPAI systems. Second, we propose GPAI system providers adopt broadly-scoped flaw disclosure programs, borrowing from bug bounties, with legal safe harbors to protect researchers. Third, we advocate for the development of improved infrastructure to coordinate distribution of flaw reports across the many stakeholders who may be impacted. These interventions are increasingly urgent, as evidenced by the prevalence of jailbreaks and other flaws that can transfer across different providers' GPAI systems. By promoting robust reporting and coordination in the AI ecosystem, these proposals could significantly improve the safety, security, and accountability of GPAI systems.
• Abstract（参考訳）: 汎用AI(GPAI)システムの広範な展開は、大きな新たなリスクをもたらす。 しかし、GPAIシステムの欠陥を報告するためのインフラストラクチャ、プラクティス、規範は、いまだに過小評価されており、ソフトウェアセキュリティのようなより確立した分野に遅れを取っている。 ソフトウェアセキュリティ,機械学習,法律,社会科学,政策の分野の専門家間のコラボレーションに基づいて,GPAIシステムにおける欠陥の評価と報告において,重要なギャップを識別する。 我々はシステムの安全性を高めるために3つの介入を要求します。 まず、GPAIシステムにおける欠陥の提出、再生、トリアージのプロセスを容易にするために、標準化されたAI欠陥レポートと研究者へのエンゲージメントのルールを使用することを提案する。 第2に,GPAIシステムプロバイダは,バグ報奨金を借用し,研究者を保護するための法的安全の確保を図り,広視野の欠陥開示プログラムを採用することを提案する。 第3に、影響を受ける可能性のある多くの利害関係者の欠陥報告の分布を調整するための改善されたインフラの開発を提唱する。 これらの介入は、異なるプロバイダのGPAIシステム間で転送可能なジェイルブレイクやその他の欠陥の出現によって証明されるように、ますます緊急である。 AIエコシステムにおける堅牢な報告と調整を促進することで、これらの提案はGPAIシステムの安全性、セキュリティ、説明責任を大幅に改善する可能性がある。

関連論文リスト

• Enabling External Scrutiny of AI Systems with Privacy-Enhancing Technologies [0.0]
  この記事では、非営利のOpenMinedが開発した技術インフラが、センシティブな情報を妥協することなく、AIシステムの外部調査を可能にする方法について説明する。 実際には、外部の研究者は、セキュリティ、プライバシ、知的財産に関するAI企業の正当な懸念のために、AIシステムへのアクセスに苦労している。 OpenMinedが開発したエンドツーエンドの技術インフラは、いくつかのPETをさまざまなセットアップに統合し、AIシステムのプライバシー保護監査を可能にする。
  論文  参考訳（メタデータ） (2025-02-05T15:31:11Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Coordinated Flaw Disclosure for AI: Beyond Security Vulnerabilities [1.3225694028747144]
  本稿では,機械学習(ML)問題の複雑度に合わせたコーディネート・フレーバー開示フレームワークを提案する。 本フレームワークは,拡張モデルカード,ダイナミックスコープ拡張,独立適応パネル,自動検証プロセスなどのイノベーションを導入している。 CFDはAIシステムに対する公的な信頼を著しく向上させる可能性があると我々は主張する。
  論文  参考訳（メタデータ） (2024-02-10T20:39:04Z)
• The risks of risk-based AI regulation: taking liability seriously [46.90451304069951]
  AIの開発と規制は、重要な段階に達したようだ。 一部の専門家は、GPT-4よりも強力なAIシステムのトレーニングに関するモラトリアムを求めている。 本稿では、最も先進的な法的提案である欧州連合のAI法について分析する。
  論文  参考訳（メタデータ） (2023-11-03T12:51:37Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• System Safety and Artificial Intelligence [0.0]
  社会的領域にまたがるAIの新たな応用には、新たなハザードが伴う。 システム安全の分野は、安全クリティカルシステムにおける事故や危害に対処してきた。 この章はシステムの安全性の先駆者であるナンシー・リーブソンに敬意を表しています。
  論文  参考訳（メタデータ） (2022-02-18T16:37:54Z)
• Trustworthy AI Inference Systems: An Industry Research View [58.000323504158054]
  我々は、信頼できるAI推論システムの設計、展開、運用にアプローチするための業界調査ビューを提供する。 信頼された実行環境を用いたAIシステムの機会と課題を強調します。 我々は,産業,アカデミック,政府研究者のグローバルな集団的注意を必要とする,さらなる発展の分野を概説する。
  論文  参考訳（メタデータ） (2020-08-10T23:05:55Z)
• Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims [59.64274607533249]
  AI開発者は、責任を負うことのできる検証可能な主張をする必要がある。 このレポートは、さまざまな利害関係者がAIシステムに関するクレームの妥当性を改善するための様々なステップを示唆している。 我々は、この目的のための10のメカニズム、すなわち、組織、ソフトウェア、ハードウェアを分析し、それらのメカニズムの実装、探索、改善を目的とした推奨を行う。
  論文  参考訳（メタデータ） (2020-04-15T17:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。