論文の概要: ASTRA: Autonomous Spatial-Temporal Red-teaming for AI Software Assistants
- arxiv url: http://arxiv.org/abs/2508.03936v1
- Date: Tue, 05 Aug 2025 21:57:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.460305
- Title: ASTRA: Autonomous Spatial-Temporal Red-teaming for AI Software Assistants
- Title（参考訳）: ASTRA:AIソフトウェアアシスタントのための自律型空間時間リチーム
- Authors: Xiangzhe Xu, Guangyu Shen, Zian Su, Siyuan Cheng, Hanxi Guo, Lu Yan, Xuan Chen, Jiasheng Jiang, Xiaolong Jin, Chengpeng Wang, Zhuo Zhang, Xiangyu Zhang,
- Abstract要約: ASTRAはAIによるコード生成とセキュリティガイダンスシステムの安全性上の欠陥を明らかにするために設計された自動化システムである。
ASTRAは、既存のテクニックよりも11～66%多くの問題を見つけ、17%の効果的なアライメントトレーニングにつながるテストケースを生成します。
- 参考スコア（独自算出の注目度）: 21.35387344588118
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI coding assistants like GitHub Copilot are rapidly transforming software development, but their safety remains deeply uncertain-especially in high-stakes domains like cybersecurity. Current red-teaming tools often rely on fixed benchmarks or unrealistic prompts, missing many real-world vulnerabilities. We present ASTRA, an automated agent system designed to systematically uncover safety flaws in AI-driven code generation and security guidance systems. ASTRA works in three stages: (1) it builds structured domain-specific knowledge graphs that model complex software tasks and known weaknesses; (2) it performs online vulnerability exploration of each target model by adaptively probing both its input space, i.e., the spatial exploration, and its reasoning processes, i.e., the temporal exploration, guided by the knowledge graphs; and (3) it generates high-quality violation-inducing cases to improve model alignment. Unlike prior methods, ASTRA focuses on realistic inputs-requests that developers might actually ask-and uses both offline abstraction guided domain modeling and online domain knowledge graph adaptation to surface corner-case vulnerabilities. Across two major evaluation domains, ASTRA finds 11-66% more issues than existing techniques and produces test cases that lead to 17% more effective alignment training, showing its practical value for building safer AI systems.
- Abstract（参考訳）: GitHub CopilotのようなAIコーディングアシスタントは、ソフトウェア開発を急速に変革している。
現在のレッドチームツールは、しばしば固定ベンチマークや非現実的なプロンプトに依存し、多くの現実世界の脆弱性を欠いている。
我々はAIによるコード生成とセキュリティガイダンスシステムにおける安全性の欠陥を体系的に発見するために設計された自動エージェントシステムASTRAを提案する。
ASTRAは,(1)複雑なソフトウェアタスクと既知の弱点をモデル化した構造化されたドメイン固有知識グラフの構築,(2)入力空間,すなわち空間探索とその推論過程,すなわち知識グラフによってガイドされる時間探索,(3)モデルアライメントを改善するための高品質な違反誘発事例を生成する,という3つの段階で動作する。
従来の方法とは異なり、ASTRAは実際のインプット要求に重点を置いており、開発者はオフラインの抽象化ガイド付きドメインモデリングと、コーナーケースの脆弱性に対するオンラインドメイン知識グラフの適応の両方を実際に使います。
2つの主要な評価領域全体で、ASTRAは既存の技術よりも11～66%の問題を発見し、17%の効果的なアライメントトレーニングにつながるテストケースを生成し、より安全なAIシステムを構築するための実践的価値を示している。
関連論文リスト
- From MAS to MARS: Coordination Failures and Reasoning Trade-offs in Hierarchical Multi-Agent Robotic Systems within a Healthcare Scenario [3.5262044630932254]
マルチエージェントロボットシステム(MARS)は、物理的およびタスク関連の制約を統合することで、マルチエージェントシステム上に構築される。
高度なマルチエージェントフレームワークが利用可能であるにも関わらず、実際のロボットへのデプロイメントは制限されている。
論文 参考訳（メタデータ） (2025-08-06T17:54:10Z) - Expert-in-the-Loop Systems with Cross-Domain and In-Domain Few-Shot Learning for Software Vulnerability Detection [38.083049237330826]
本研究では,CWE(Common Weaknessions)を用いたPythonコードの識別をシミュレーションすることにより,ソフトウェア脆弱性評価におけるLLM(Large Language Models)の利用について検討する。
その結果,ゼロショットプロンプトは性能が低いが,少数ショットプロンプトは分類性能を著しく向上させることがわかった。
モデル信頼性、解釈可能性、敵の堅牢性といった課題は、将来の研究にとって重要な領域のままである。
論文 参考訳（メタデータ） (2025-06-11T18:43:51Z) - ATAG: AI-Agent Application Threat Assessment with Attack Graphs [23.757154032523093]
本稿では,Attack Graphs (ATAG) を用いたAIエージェントアプリケーションThreatアセスメントを提案する。
ATAGは、AIエージェントアプリケーションに関連するセキュリティリスクを体系的に分析するために設計された、新しいフレームワークである。
マルチエージェントアプリケーションにおけるAIエージェント脅威の積極的な識別と緩和を容易にする。
論文 参考訳（メタデータ） (2025-06-03T13:25:40Z) - R&D-Agent: Automating Data-Driven AI Solution Building Through LLM-Powered Automated Research, Development, and Evolution [60.80016554091364]
R&D-Agentは反復探索のための二重エージェントフレームワークである。
Researcherエージェントはパフォーマンスフィードバックを使用してアイデアを生成し、Developerエージェントはエラーフィードバックに基づいてコードを洗練する。
R&D-AgentはMLE-Benchで評価され、最高のパフォーマンスの機械学習エンジニアリングエージェントとして登場した。
論文 参考訳（メタデータ） (2025-05-20T06:07:00Z) - AI2Agent: An End-to-End Framework for Deploying AI Projects as Autonomous Agents [15.802600809497097]
本稿では、ガイドライン駆動実行を通じてAIプロジェクトのデプロイメントを自動化するエンドツーエンドフレームワークであるAI2Agentを紹介する。
我々は、TTS、テキスト・ツー・イメージ生成、画像編集、その他のAIアプリケーションをカバーする、30のAIデプロイメントケースの実験を行った。
その結果、AI2Agentはデプロイメント時間を大幅に短縮し、成功率を向上させることがわかった。
論文 参考訳（メタデータ） (2025-03-31T10:58:34Z) - Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。
ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。
我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文 参考訳（メタデータ） (2025-02-18T02:26:50Z) - Auto-RT: Automatic Jailbreak Strategy Exploration for Red-Teaming Large Language Models [62.12822290276912]
Auto-RTは、複雑な攻撃戦略を探索し最適化する強化学習フレームワークである。
探索効率を大幅に改善し、攻撃戦略を自動的に最適化することにより、Auto-RTはボーダの脆弱性範囲を検出し、検出速度が速く、既存の方法と比較して16.63%高い成功率を達成する。
論文 参考訳（メタデータ） (2025-01-03T14:30:14Z) - Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。
サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。
ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
論文 参考訳（メタデータ） (2024-05-09T18:15:12Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z) - DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly
detection in air transportation [68.8204255655161]
識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。
通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。
その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
論文 参考訳（メタデータ） (2021-09-08T14:07:55Z) - Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。
ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
論文 参考訳（メタデータ） (2021-03-08T10:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。