論文の概要: Actionable Meta-Requirements for AI Robustness Auditing
- arxiv url: http://arxiv.org/abs/2610.14356v1
- Date: Fri, 09 Oct 2026 22:01:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.037512
- Title: Actionable Meta-Requirements for AI Robustness Auditing
- Title（参考訳）: AIロバストネス監査のための行動可能なメタ要件
- Abstract要約: AIシステムのロバストネス監査は、決定されたロバストネスの結論を支持するのに十分な証拠があるかどうかを判断するために重要である。
重要な未解決の問題は、フレームワークがサポートすべき要件を決定することです。
私たちは、最初のセットを文学から導き、実践者と検証し、洗練します。
- 参考スコア（独自算出の注目度）: 1.565249083928955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI-enabled systems must remain dependable when the conditions under which they operate change (e.g., due to input perturbations, distribution shifts, or changes in external dependencies). This makes robustness auditing of such systems important for judging whether the available evidence is sufficient to support a defined robustness conclusion. However, designing an AI robustness auditing framework is challenging. A key unresolved issue is determining the requirements such a framework should support; these requirements have not yet been consolidated. We address this gap through meta-requirements: higher-order requirements specifying what a class of auditing frameworks should support. In design science research, literature and domain experts are common sources of meta-requirements; accordingly, we derive the initial set from literature and validate and refine it with practitioners. Our systematic literature review retained 74 of 2,890 records and derived 43 meta-requirements across 16 categories. We evaluated them with 128 practitioners, obtaining 5,504 ratings and 586 substantive comments. Overall, 81.20% of ratings indicated agreement or strong agreement. In particular, 41 of the 43 literature-derived meta-requirements were classified as strongly supported. Practitioner feedback refined the requirements and identified an additional requirement concerning external components and supply chain dependencies. The final set comprises 44 meta-requirements across 16 categories, of which 43 received quantitative validation. These meta-requirements can help organizations implement AI robustness auditing frameworks, assess existing frameworks for completeness, and refine them.
- Abstract（参考訳）: AI対応システムは、それらが動作している条件(例えば、入力の摂動、分散シフト、外部依存関係の変更など)が変化しても、信頼性を保たなければならない。
これにより、そのようなシステムのロバストネス監査は、決定されたロバストネスの結論を支持するのに十分な証拠があるかどうかを判断する上で重要である。
しかし、AI堅牢性監査フレームワークの設計は難しい。
重要な未解決の問題は、フレームワークがサポートすべき要件を決定することだ。
監査フレームワークのクラスがどのクラスをサポートするべきかを指定する高次の要求。
デザインサイエンス研究において、文学とドメインエキスパートはメタ要求の共通源であり、文献から初期セットを導き、実践者と検証し、洗練する。
体系的な文献レビューでは,2,890件中74件を保存し,43件のメタ要求を抽出した。
128人の実践者と評価し、5,504件の格付けと586件の実質的なコメントを得た。
全体の81.20%のレーティングは、合意または強い合意を示している。
特に,43点中41点が強く支持された。
実践者のフィードバックは要求を洗練させ、外部コンポーネントとサプライチェーンの依存関係に関する追加の要件を特定しました。
最終セットは16カテゴリにわたる44のメタ要求から構成され、43が定量的検証を受けた。
これらのメタ要件は、AI堅牢性監査フレームワークの実装を支援し、既存のフレームワークを完全性評価し、それらを洗練するのに役立つ。
関連論文リスト
- Using LLMs to Elicit Security Requirements for Service-Oriented Cyber Ranges [0.0]
この研究は、大規模言語モデルがサービス指向範囲のセキュリティ要件を引き出すのにどのように役立つかを検討する。
このアプローチは、セキュリティミッションの目標とステークホルダーのニーズが最初に特定されたSEBoK誘導プロセスに従っている。
これらのモデルは合計84のセキュリティ要件を生成し、27の要求の包括的なセットに統合された。
論文 参考訳（メタデータ） (2026-09-01T08:18:41Z) - Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。
その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。
DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
論文 参考訳（メタデータ） (2026-08-18T17:29:00Z) - ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence [57.37494162084001]
チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。
CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
論文 参考訳（メタデータ） (2026-05-25T21:30:27Z) - Structural Quality Gaps in Practitioner AI Governance Prompts: An Empirical Study Using a Five-Principle Evaluation Framework [0.0]
我々は、AIが構造的に完成しているかどうかを評価するためのフレームワークを導入する。
評価の結果,評価されたファイルモデルペアの37%がしきい値以下であることが判明した。
本稿では,AI支援開発における工学的要件の実践の意義について論じる。
論文 参考訳（メタデータ） (2026-04-22T21:18:28Z) - QUARE: Multi-Agent Negotiation for Balancing Quality Attributes in Requirements Engineering [5.798725202578518]
QUIRE(Quality-Aware Requirements Engineering)は、要求分析を構造化交渉として定式化するマルチエージェントフレームワークである。
確立されたREベンチマーク(MARE, iReDev)と産業用自動運転仕様の5つのケーススタディを提示する。
論文 参考訳（メタデータ） (2026-03-12T13:03:01Z) - SPECA: Specification-to-Checklist Agentic Auditing for Multi-Implementation Systems -- A Case Study on Ethereum Clients [1.711666249985278]
SPECAは、標準要件をチェックリストに変換する仕様からChecklistフレームワークである。
SPECAは,11社を対象とし,フサカアップグレードのセキュリティ監査コンテストの会場内でインスタンス化を行う。
我々の改善されたエージェントは、競争監査の基礎的真実に対して評価され、高影響の脆弱性について27.3%の厳格なリコールを達成した。
論文 参考訳（メタデータ） (2026-02-07T12:19:00Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。
回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。
OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
論文 参考訳（メタデータ） (2026-01-04T15:48:51Z) - DEER: A Comprehensive and Reliable Benchmark for Deep-Research Expert Reports [49.217247659479476]
ディープリサーチシステムは、多段階の推論とエビデンスベースの合成を通じて専門家レベルのレポートを生成することができる。
既存のベンチマークは、エキスパートレポートの体系的な基準を欠いていることが多い。
専門家レベルのディープリサーチレポートを評価するためのベンチマークであるDEERを紹介する。
論文 参考訳（メタデータ） (2025-12-19T16:46:20Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。