論文の概要: From Guidelines to Practice: Defining Requirements for AI Red-Teaming Tools

• arxiv url: http://arxiv.org/abs/2611.04271v1
• Date: Tue, 03 Nov 2026 04:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 00:40:10.226522
• Title: From Guidelines to Practice: Defining Requirements for AI Red-Teaming Tools
• Title（参考訳）: ガイドラインから実践へ:AIのレッドチームツールに必要なものを定義する
• Abstract要約: AIは、アタックアクターがプロンプトインジェクションやジェイルブレイクのようなアタックを実行するための追加のアタックサーフェスを導入している。 ツールを使用する前に、組織がツールの機能や制限を認識していることは重要です。 我々は6つの大規模言語モデルにまたがる6つのツールを評価し、洞察について報告し、将来のツールで考慮すべきギャップを特定した。
• 参考スコア（独自算出の注目度）: 28.181457241896968
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Artificial Intelligence (AI) has seen significant developments and increased usage in recent years. AI benefits various tasks, automates decision-making, and enhances efficiency. However, AI also introduces additional attack surfaces for threat actors to perform attacks like prompt injection and jailbreaking, making security a great concern. AI security testing aims to imitate adversarial attacks or malicious inputs via manual testing or with the assistance of tools. Thus, it is critical that organizations are aware of the capabilities and limitations of the tools before using them. Existing studies provide insights on the overall architecture of AI security testing tools and raise concerns on their reliability, but their analysis is limited to attack performance. Selection of a tool for AI risk assessments should also depend on their alignment with the recommendations of industry standards, but to our knowledge, previous studies have not utilized such guidelines. To bridge this gap, we analyze several industry standards and guidelines to identify the requirements of AI testing tools. We discuss and highlight desirable features across various AI security testing tools for a variety of different AI systems. We evaluated six tools across six Large Language Models, reported on our insights, and identified gaps that should be considered by future tools.
• Abstract（参考訳）: 人工知能(AI)は近年大きく発展し、利用が増加している。 AIはさまざまなタスクの恩恵を受け、意思決定を自動化し、効率を高める。 しかし、AIはまた、プロンプトインジェクションやジェイルブレイクのようなアタックを実行するために、脅威アクターのための追加のアタックサーフェスも導入している。 AIセキュリティテストは、手動テストやツールの助けを借りて、敵の攻撃や悪意のある入力を模倣することを目的としている。 したがって、組織がツールを使用する前に、ツールの機能と制限を認識していることは重要です。 既存の研究は、AIセキュリティテストツール全体のアーキテクチャに関する洞察を提供し、信頼性に関する懸念を提起するが、その分析はパフォーマンスへの攻撃に限られている。 AIリスクアセスメントのためのツールの選択は、業界標準のレコメンデーションとの整合性にも依存すべきである。 このギャップを埋めるために、私たちはいくつかの業界標準とガイドラインを分析し、AIテストツールの要件を特定します。 さまざまなAIシステムに対して、さまざまなAIセキュリティテストツールで望ましい機能を議論し、強調する。 6つの大規模言語モデルにまたがる6つのツールを評価し、私たちの洞察を報告し、将来のツールで考慮すべきギャップを特定しました。

関連論文リスト

• Software Vulnerability Management in the Era of Artificial Intelligence: An Industry Perspective [1.0705399532413618]
  本研究の目的は,ソフトウェア脆弱性管理のためのAIツールの採用範囲を明らかにすることである。 27か国にまたがる多様な産業分野の実践者60名を対象に調査を行った。 以上の結果から,AIを活用したツールがSVMライフサイクルを通じて使用されていることが示唆された。
  論文  参考訳（メタデータ） (2025-12-20T07:58:35Z)
• General Scales Unlock AI Evaluation with Explanatory and Predictive Power [57.7995945974989]
  ベンチマークはAIの進歩を導くものだが、汎用AIシステムには限られた説明力と予測力を提供している。 私たちは、一般的なAIベンチマークが実際に何を計測しているかを説明することができる、AI評価のための一般的な尺度を紹介します。 私たちの完全に自動化された方法論は、飽和しない一般的なスケールにインスタンス要求を配置する18の新しく作られたルーリックの上に構築されます。
  論文  参考訳（メタデータ） (2025-03-09T01:13:56Z)
• AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement [73.0700818105842]
  我々は、AI安全のための代表的攻撃、防衛、評価方法論を統合する統合されたフレームワークとツールキットであるAISafetyLabを紹介する。 AISafetyLabには直感的なインターフェースがあり、開発者はシームレスにさまざまなテクニックを適用できる。 我々はヴィクナに関する実証的研究を行い、異なる攻撃戦略と防衛戦略を分析し、それらの比較効果に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-24T02:11:52Z)
• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• Towards AI Accountability Infrastructure: Gaps and Opportunities in AI Audit Tooling [1.841662059101602]
  AI監査ツールの現在のエコシステムと実践者のニーズを比較します。 多くのツールは、標準を設定し、AIシステムを評価するために設計されているが、説明責任のサポートに不足することが多い。 我々は、現在利用可能なリソースは、AI監査実践者のニーズの全範囲をサポートしていないと結論付けている。
  論文  参考訳（メタデータ） (2024-02-27T19:52:54Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities and Challenges [60.56413461109281]
  IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。 我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。 主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
  論文  参考訳（メタデータ） (2023-04-10T15:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。