論文の概要: AIFaultBench: A Reproducible Benchmark of Real-World Faults in AI Software Systems
- arxiv url: http://arxiv.org/abs/2610.41094v1
- Date: Fri, 30 Oct 2026 00:26:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.567781
- Title: AIFaultBench: A Reproducible Benchmark of Real-World Faults in AI Software Systems
- Title（参考訳）: AIFaultBench:AIソフトウェアシステムにおける実世界の障害の再現可能なベンチマーク
- Abstract要約: AIFaultBenchは、76の組織にわたる105のAIベースのソフトウェアリポジトリから770の実際のバグのベンチマークである。
機械学習、ディープラーニング、強化学習、大規模言語モデルに基づくシステム、エージェントAI、AIツールとインフラストラクチャの6つのクラスをカバーする。
- 参考スコア（独自算出の注目度）: 6.992405861720876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-based software systems remain difficult to debug because their failures can involve interactions among code, models, data, dependencies, hardware, and execution environments. Existing benchmarks cover specific classes of AI systems, while concerns about fault realism and reproducibility highlight the need for documented execution conditions and evidence. We present AIFaultBench, a benchmark of 770 real-world bugs from 105 AI-based software repositories across 76 organizations. It covers six classes of AI systems: machine learning, deep learning, reinforcement learning, systems based on large language models, agentic AI, and AI tooling and infrastructure. Each bug record connects the original report and affected codebase to structured metadata, environment setup scripts, a reproduction trigger, and investigation evidence. We reproduced 652 bugs (84.7%) under the recorded execution conditions and documented the outcomes of the remaining 118 attempts. Through its broad coverage, documented reproduction evidence, and common structure, AIFaultBench supports empirical studies of AI faults, debugging tool evaluation, practical failure investigation, and teaching with real-world examples.
- Abstract（参考訳）: AIベースのソフトウェアシステムは、コード、モデル、データ、依存関係、ハードウェア、実行環境間のインタラクションを含む可能性があるため、デバッグが難しいままです。
既存のベンチマークはAIシステムの特定のクラスをカバーするが、フォールトリアリズムや再現性に関する懸念は、文書化された実行条件や証拠の必要性を浮き彫りにする。
AIFaultBenchは、76の組織にわたる105のAIベースのソフトウェアリポジトリから770の実際のバグのベンチマークである。
機械学習、ディープラーニング、強化学習、大規模言語モデルに基づくシステム、エージェントAI、AIツールとインフラストラクチャの6つのクラスをカバーする。
各バグレコードは、元のレポートと影響を受けるコードベースを構造化されたメタデータ、環境設定スクリプト、再生トリガ、調査エビデンスに接続する。
記録された実行条件下で652のバグ(84.7%)を再現し,残りの118回の結果を文書化した。
AI障害の実証研究、デバッグツールの評価、実践的失敗の調査、実世界の実例による教育をサポートする。
関連論文リスト
- Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model [0.0]
164の学術作品、100の実践記録、29のベンチマーク記録、17の著者・システム・ケース・レコードを合成する。
構造化されたマルチボーカルレビュー、ターゲットとする更新監査、ソフトウェアエンジニアリングカバレッジ分析、分散システムエビデンス合成として書かれた。
本は、深さ56の信頼性記録と13のリサーチリードを含む、バージョン管理された206の信頼性記録を寄稿している。
論文 参考訳（メタデータ） (2026-08-14T01:34:25Z) - Cheap Code, Costly Judgment: A Case Study on Governable Agentic Software Engineering [8.368707686524482]
エンジニアがアーキテクチャ、ツール、エビデンス、フィードバックループを整理して、AIによる開発が検査可能で、修正可能で、メンテナンス可能であるようにする方法を研究します。
プロセスモデルとして表現されたガバナンス変換の理論を開発し,高速度エージェントの実装がいかに制御可能かを説明する。
論文 参考訳（メタデータ） (2026-07-01T15:44:15Z) - FLARE-AI: Flaw Reporting for AI [51.64618567247884]
デプロイされたAIシステムの欠陥報告は、システムの障害を特定し、AIの安全性を改善するために不可欠である。
しかし、AIレポートのエコシステムは断片化されている。欠陥を特定する研究者は、報告すべきことを知らないことが多く、レポートを受け取るグループは、他の関連するステークホルダーと共有することはめったにない。
私たちは、AI開発者、サイバーセキュリティグループ、AI欠陥アグリゲータによって公表された12のレポートシステムを監査します。
我々は、既存のシステムとの相互運用性のために設計された、オープンソースのAI欠陥報告システムであるFLARE-AIを紹介する。
論文 参考訳（メタデータ） (2026-06-30T12:27:09Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Toward Training Superintelligent Software Agents through Self-Play SWE-RL [66.11447353341926]
セルフプレイSWE-RLは、超知能ソフトウェアエージェントのトレーニングパラダイムに向けた第一歩である。
当社のアプローチでは,ソースコードとインストール済みの依存関係を備えたサンドボックスリポジトリへのアクセスのみを必要としています。
我々の成果は、早い段階で、エージェントが現実世界のソフトウェアリポジトリから広範囲にわたる学習経験を自律的に収集する道のりを示唆している。
論文 参考訳（メタデータ） (2025-12-21T00:49:40Z) - Dissect-and-Restore: AI-based Code Verification with Transient Refactoring [1.2883590530210827]
提案するPrometheusは,現在のAI機能を備えた自動コード検証を容易にする,AI支援システムである。
プロメテウスは、複素補題の構造的分解を通じてより小さく検証可能な部分補題への証明探索を導く。
このアプローチは、ベースラインの68%に比べて、キュレートされたデータセットの86%のタスクをうまく検証します。
論文 参考訳（メタデータ） (2025-10-29T11:23:50Z) - BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。
実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。
われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
論文 参考訳（メタデータ） (2022-07-21T20:17:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。