論文の概要: Taxonomy-Driven Analysis of Open-Source AI Risk Mitigation Tools
- arxiv url: http://arxiv.org/abs/2608.07446v1
- Date: Fri, 07 Aug 2026 17:33:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.585048
- Title: Taxonomy-Driven Analysis of Open-Source AI Risk Mitigation Tools
- Title（参考訳）: オープンソースAIリスク軽減ツールの分類駆動分析
- Authors: Afreen Alam, Evgenija Popchanovska, Ana Gjorgjevikj, Maryan Rizinski, Lubomir T. Chitkushev, Irena Vodenska, Dimitar Trajanov,
- Abstract要約: 本稿では,オープンソースツールの分類による分析を通じてAIリスク軽減を自動化するための構造化プロトコルを提案する。
我々は、21の著名なオープンソースツールの能力を、拡張されたMIT AIリスク緩和およびレスポンス分類の32のサブカテゴリにマップする。
この分析は、ツールが技術的および運用的コントロールの周りに集結し、ガバナンス、法律と規制、金融と市場のコントロールがほとんど適応していない、という非常に歪んだ状況を明らかにしている。
- 参考スコア（独自算出の注目度）: 0.04510277221887893
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Rapid adoption of large language models (LLMs) in enterprise settings has introduced operational, security, and governance risks. As generative AI applications move from pilot to production, manual harm identification and mitigation are becoming difficult to scale. Although many tools support model evaluation, adversarial testing, runtime guardrails, and observability, the tooling landscape remains fragmented. Tools are typically designed for specific engineering tasks and described in technical terms that do not align with governance frameworks or risk taxonomies, making it difficult to determine which tools address which risks and where critical gaps remain. This paper proposes a structured protocol to automate AI risk mitigation through a taxonomy-driven analysis of open-source LLM evaluation and security tools. We map the capabilities of 21 prominent open-source tools to the 32 subcategories of the extended MIT AI Risk Mitigation and Response Taxonomy. An LLM-assisted retrieval-augmented generation pipeline analyzes source code and documentation to extract capabilities for each taxonomy category. Reliability assessment yielded moderate agreement (Fleiss' Kappa = 0.509) among three independent reviewers. The analysis reveals a highly skewed landscape in which tools cluster around technical and operational controls, while governance, legal and regulatory, and financial and market controls remain largely unaddressed. This motivates a layered risk-mitigation architecture combining tool-based controls with organizational and regulatory processes. The mapping protocol achieved an F1 score of 75.5% after majority voting. Overall, the study provides a practical mapping between enterprise AI risk categories and open-source mitigation capabilities, identifies where human oversight remains necessary, and presents a taxonomy-driven framework applicable to open-source and proprietary solutions.
- Abstract（参考訳）: エンタープライズ環境での大規模言語モデル(LLM)の急速な採用は、運用、セキュリティ、ガバナンスのリスクを導入している。
生成的AIアプリケーションがパイロットから本番環境に移行するにつれ、手動による害の識別と緩和が難しくなってきている。
多くのツールは、モデル評価、逆行テスト、ランタイムガードレール、可観測性をサポートしているが、ツールの展望は断片化されている。
ツールは通常、特定のエンジニアリングタスクのために設計され、ガバナンスフレームワークやリスク分類と一致しない技術的用語で説明される。
本稿では,オープンソースのLCM評価とセキュリティツールの分類による分析を通じて,AIリスク軽減を自動化するための構造化プロトコルを提案する。
我々は、21の著名なオープンソースツールの能力を、拡張されたMIT AIリスク軽減およびレスポンス分類の32のサブカテゴリにマップする。
LLM支援検索拡張生成パイプラインはソースコードとドキュメンテーションを分析し、各分類カテゴリーの能力を抽出する。
信頼性評価は、3人の独立したレビュアーの間で穏健な合意(Fleiss' Kappa = 0.509)を得た。
この分析は、ツールが技術的および運用的コントロールの周りに集結し、ガバナンス、法律と規制、金融と市場のコントロールがほとんど適応していない、という非常に歪んだ状況を明らかにしている。
これによって、ツールベースのコントロールと組織および規制プロセスを組み合わせた、階層化されたリスク軽減アーキテクチャが実現される。
このマッピングプロトコルは、過半数投票後にF1スコアが75.5%に達した。
全体として、この研究は、エンタープライズAIリスクカテゴリとオープンソースの緩和能力の実践的なマッピングを提供し、人間の監視が必要な場所を特定し、オープンソースおよびプロプライエタリなソリューションに適用可能な分類駆動のフレームワークを提示している。
関連論文リスト
- The Eticas AI Risk Taxonomy: Open Infrastructure for Operationalizing AI Audits [2.869158116077567]
我々は、Eticasが構築した運用層を公開ベンチマークに対して単一のリスク(PIIリーク)でエンドツーエンドに示す。
GPT-4-0314では, 対向条件が増加するにつれて, 7つの外部フレームワークの制御を必要とする開示リスクが0%, 51%, 84%と測定された。
この貢献は、概念から段階的な発見への橋渡しであり、それらが表すメカニズムからリスクをきれいに分離することで支えられている。
論文 参考訳（メタデータ） (2026-07-02T14:08:34Z) - Risk Architecture for AI-Native Engineering Teams: An Organizational Framework for Agentic System Governance [0.0]
本稿では、純粋なソフトウェアエンジニアリング、ハイブリッド、AIネイティブチームを区別する7次元プロファイルを提供する。
研究の対象は人間の行動よりもフレームワークの妥当性にあるため、評価は観察されたカバレッジクレームよりも導出される。
論文 参考訳（メタデータ） (2026-07-01T19:31:02Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。
この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
論文 参考訳（メタデータ） (2026-02-16T04:30:06Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳（メタデータ） (2026-01-12T21:31:38Z) - Mapping AI Risk Mitigations: Evidence Scan and Preliminary AI Risk Mitigation Taxonomy [35.22340964134219]
AIリスク軽減フレームワークの展望は断片化され、一貫性のない用語を使用し、カバレッジにギャップがある。
本稿では、AIリスク軽減のための予備的なAIリスク軽減分類を導入し、共通の参照枠を提供する。
この分類法は、2023年から2025年の間に発行された13のAIリスク軽減フレームワークの素早いエビデンススキャンによって開発された。
論文 参考訳（メタデータ） (2025-12-12T03:26:29Z) - AI Bill of Materials and Beyond: Systematizing Security Assurance through the AI Risk Scanning (AIRS) Framework [31.261980405052938]
人工知能(AI)システムの保証は、ソフトウェアサプライチェーンセキュリティ、敵機械学習、ガバナンスドキュメントに分散している。
本稿では,AI保証の運用を目的とした脅威モデルに基づくエビデンス発生フレームワークであるAI Risk Scanning(AIRS)フレームワークを紹介する。
論文 参考訳（メタデータ） (2025-11-16T16:10:38Z) - Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳（メタデータ） (2024-03-20T05:17:22Z) - RCAgent: Cloud Root Cause Analysis by Autonomous Agents with Tool-Augmented Large Language Models [46.476439550746136]
近年,クラウド根本原因分析(RCA)における言語モデル (LLM) の適用が活発に検討されている。
RCAgentは、実用的でプライバシに配慮した産業RCA利用のためのツール強化LDM自律エージェントフレームワークである。
RCAgentはGPTファミリではなく、内部的にデプロイされたモデル上で動作し、フリーフォームのデータ収集とツールによる包括的な分析を行うことができる。
論文 参考訳（メタデータ） (2023-10-25T03:53:31Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。