論文の概要: FLARE-AI: Flaw Reporting for AI
- arxiv url: http://arxiv.org/abs/2606.31567v1
- Date: Tue, 30 Jun 2026 12:27:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.209013
- Title: FLARE-AI: Flaw Reporting for AI
- Title(参考訳): FLARE-AI: AIの欠陥レポート
- Authors: Shayne Longpre, Elaine Zhu, Carson Ezell, Avijit Ghosh, Sean McGregor, Kevin Paeth, Kevin Klyman, Sayash Kapoor, Rishi Bommasani, Ruth Appel, Gregory Strom, Lauren McIlvenny, Mark M. Jaycox, Peter Slattery, Nathan Butters, Arvind Narayanan, Percy Liang, Alex Pentland,
- Abstract要約: デプロイされたAIシステムの欠陥報告は、システムの障害を特定し、AIの安全性を改善するために不可欠である。
しかし、AIレポートのエコシステムは断片化されている。欠陥を特定する研究者は、報告すべきことを知らないことが多く、レポートを受け取るグループは、他の関連するステークホルダーと共有することはめったにない。
私たちは、AI開発者、サイバーセキュリティグループ、AI欠陥アグリゲータによって公表された12のレポートシステムを監査します。
我々は、既存のシステムとの相互運用性のために設計された、オープンソースのAI欠陥報告システムであるFLARE-AIを紹介する。
- 参考スコア(独自算出の注目度): 51.64618567247884
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Flaw reporting for deployed AI systems is fundamental to identifying system failures and improving AI safety. Yet the AI reporting ecosystem is fragmented: researchers who identify flaws often do not know what or where to report, and groups who receive reports rarely share them with other relevant stakeholders. As a result, good-faith reporters duplicate effort by submitting many different forms, and recipients lack standardized, triage-ready information. We audit 12 reporting systems published by AI developers, cybersecurity groups, and AI flaw aggregators, identifying five recurring design challenges spanning discoverability, scope, information collection, coordination, and guidance for strict-liability cases. Building on this analysis and feedback from 49 experts across 32 organizations representing developers, security researchers, and ecosystem coordinators, we introduce FLARE-AI, an open-source AI flaw reporting system designed for interoperability with existing systems. FLARE-AI streamlines flaw report creation by collecting triage-relevant information through conditional logic and early classification, then enables optional dissemination of standardized, machine-readable reports to multiple developers, coordinators, and incident registries from a single submission. By lowering barriers to reporting AI flaws and improving interoperability across stakeholders, FLARE-AI helps break down silos and accelerate remediation across the AI ecosystem.
- Abstract(参考訳): デプロイされたAIシステムの欠陥報告は、システムの障害を特定し、AIの安全性を改善するために不可欠である。
しかし、AIレポートのエコシステムは断片化されている。欠陥を特定する研究者は、何やどこで報告すべきかを知らないことが多く、レポートを受け取るグループは、他の関連するステークホルダーと共有されることは滅多にない。
その結果、善良なレポーターは多くの異なるフォームを提出し、受取人は標準化されたトリアージ対応の情報を欠いている。
AI開発者、サイバーセキュリティグループ、AI欠陥アグリゲータによって公表された12のレポートシステムを監査し、発見可能性、スコープ、情報収集、調整、厳格な信頼性のケースに対するガイダンスを含む、繰り返し発生する5つの設計課題を特定します。
この分析と、開発者、セキュリティ研究者、エコシステムコーディネータを代表する32の組織の49人の専門家からのフィードバックに基づいて、既存のシステムとの相互運用性のために設計された、オープンソースのAI欠陥レポートシステムであるFLARE-AIを紹介します。
FLARE-AIは条件論理と初期分類を通じてトリアージ関連情報を収集することで欠陥レポートの作成を効率化し、標準化されたマシン可読なレポートを複数の開発者、コーディネータ、インシデントレジストリに任意に配布する。
AIの欠陥を報告し、ステークホルダ間の相互運用性を改善する障壁を低くすることで、FLARE-AIはサイロを分解し、AIエコシステム全体の修復を加速する。
関連論文リスト
- Data Annotation Quality Problems in AI-Enabled Perception System Development [3.716862357836751]
データアノテーションは、AI対応の知覚システムの開発において必須であるが、非常にエラーを起こしやすい。
我々は3つのデータ品質次元にまたがる18の繰り返しアノテーションエラーの分類法を開発した。
この研究は、信頼できるAI対応認識システムを構築するための共有語彙、診断ツールセット、行動可能なガイダンスを提供することで、SE4AIに貢献する。
論文 参考訳(メタデータ) (2025-11-20T14:30:51Z) - Automating AI Failure Tracking: Semantic Association of Reports in AI Incident Database [7.946359845249688]
本稿では,既存のAIインシデントと新たなレポートの関連付けを自動化する検索ベースのフレームワークを提案する。
分析の結果,タイトルと記述を組み合わせることで,ランキングの精度が大幅に向上した。
私たちのアプローチは、AIIDのメンテナンスをサポートするためのスケーラブルで効率的なソリューションを提供します。
論文 参考訳(メタデータ) (2025-07-31T15:48:12Z) - In-House Evaluation Is Not Enough: Towards Robust Third-Party Flaw Disclosure for General-Purpose AI [93.33036653316591]
我々はシステムの安全性を高めるために3つの介入を要求します。
まず、標準化されたAI欠陥レポートと研究者へのエンゲージメントのルールを用いることを提案する。
第2に,GPAIシステムプロバイダが広視野欠陥開示プログラムを採用することを提案する。
第3に,欠陥報告の分布を調整するための改良されたインフラの開発を提唱する。
論文 参考訳(メタデータ) (2025-03-21T05:09:46Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳(メタデータ) (2025-02-19T05:58:52Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳(メタデータ) (2024-12-19T13:50:26Z) - Discovering and Validating AI Errors With Crowdsourced Failure Reports [10.4818618376202]
クラウドソースの障害レポートや、モデルが失敗した理由や理由に関するエンドユーザの説明を導入し、開発者がAIエラーの検出にどのように使用できるかを示します。
また、障害レポートを合成する視覚分析システムであるDeblinderを設計、実装する。
半構造化されたインタビューと10人のAI実践者とのシンク・アラウド・スタディでは、現実の環境でのDeblinderシステムと障害報告の適用可能性について検討する。
論文 参考訳(メタデータ) (2021-09-23T23:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。