Fugu-MT 論文翻訳(概要): ASTRA: Autonomous Spatial-Temporal Red-teaming for AI Software Assistants

論文の概要: ASTRA: Autonomous Spatial-Temporal Red-teaming for AI Software Assistants

arxiv url: http://arxiv.org/abs/2508.03936v1
Date: Tue, 05 Aug 2025 21:57:52 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-07 20:09:22.460305
Title: ASTRA: Autonomous Spatial-Temporal Red-teaming for AI Software Assistants
Title（参考訳）: ASTRA:AIソフトウェアアシスタントのための自律型空間時間リチーム
Authors: Xiangzhe Xu, Guangyu Shen, Zian Su, Siyuan Cheng, Hanxi Guo, Lu Yan, Xuan Chen, Jiasheng Jiang, Xiaolong Jin, Chengpeng Wang, Zhuo Zhang, Xiangyu Zhang,
Abstract要約: ASTRAはAIによるコード生成とセキュリティガイダンスシステムの安全性上の欠陥を明らかにするために設計された自動化システムである。 ASTRAは、既存のテクニックよりも11～66%多くの問題を見つけ、17%の効果的なアライメントトレーニングにつながるテストケースを生成します。
参考スコア（独自算出の注目度）: 21.35387344588118
License: http://creativecommons.org/licenses/by/4.0/
Abstract: AI coding assistants like GitHub Copilot are rapidly transforming software development, but their safety remains deeply uncertain-especially in high-stakes domains like cybersecurity. Current red-teaming tools often rely on fixed benchmarks or unrealistic prompts, missing many real-world vulnerabilities. We present ASTRA, an automated agent system designed to systematically uncover safety flaws in AI-driven code generation and security guidance systems. ASTRA works in three stages: (1) it builds structured domain-specific knowledge graphs that model complex software tasks and known weaknesses; (2) it performs online vulnerability exploration of each target model by adaptively probing both its input space, i.e., the spatial exploration, and its reasoning processes, i.e., the temporal exploration, guided by the knowledge graphs; and (3) it generates high-quality violation-inducing cases to improve model alignment. Unlike prior methods, ASTRA focuses on realistic inputs-requests that developers might actually ask-and uses both offline abstraction guided domain modeling and online domain knowledge graph adaptation to surface corner-case vulnerabilities. Across two major evaluation domains, ASTRA finds 11-66% more issues than existing techniques and produces test cases that lead to 17% more effective alignment training, showing its practical value for building safer AI systems.
Abstract（参考訳）: GitHub CopilotのようなAIコーディングアシスタントは、ソフトウェア開発を急速に変革している。現在のレッドチームツールは、しばしば固定ベンチマークや非現実的なプロンプトに依存し、多くの現実世界の脆弱性を欠いている。我々はAIによるコード生成とセキュリティガイダンスシステムにおける安全性の欠陥を体系的に発見するために設計された自動エージェントシステムASTRAを提案する。 ASTRAは,(1)複雑なソフトウェアタスクと既知の弱点をモデル化した構造化されたドメイン固有知識グラフの構築,(2)入力空間,すなわち空間探索とその推論過程,すなわち知識グラフによってガイドされる時間探索,(3)モデルアライメントを改善するための高品質な違反誘発事例を生成する,という3つの段階で動作する。従来の方法とは異なり、ASTRAは実際のインプット要求に重点を置いており、開発者はオフラインの抽象化ガイド付きドメインモデリングと、コーナーケースの脆弱性に対するオンラインドメイン知識グラフの適応の両方を実際に使います。 2つの主要な評価領域全体で、ASTRAは既存の技術よりも11～66%の問題を発見し、17%の効果的なアライメントトレーニングにつながるテストケースを生成し、より安全なAIシステムを構築するための実践的価値を示している。

関連論文リスト

Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
論文参考訳（メタデータ） (2026-01-29T03:53:25Z)
AI builds, We Analyze: An Empirical Study of AI-Generated Build Code Quality [0.0]
ソフトウェア開発におけるAIコーディングエージェントの急速な採用は、それらが生成するコードの品質と保守性に関する重要な疑問を提起している。このデータマイニングの課題は、実世界のGitHubリポジトリからエージェントプルリクエストをキャプチャする、最初の大規模でオープンソースのデータセットであるAIDevに焦点を当てている。私たちは364のメンテナンス性とセキュリティ関連のビルドの臭いを、さまざまな重大度レベルにわたって特定しました。
論文参考訳（メタデータ） (2026-01-23T15:40:28Z)
AI IDEs or Autonomous Agents? Measuring the Impact of Coding Agents on Software Development [12.50615284537175]
大規模言語モデル(LLM)ベースのコーディングエージェントは、プルリクエストの生成とマージを行う自律的なコントリビュータとして機能するようになっている。本稿では,オープンソースリポジトリにおけるエージェント導入の経時的因果関係について検討する。
論文参考訳（メタデータ） (2026-01-20T04:51:56Z)
Evaluating Large Language Models for Time Series Anomaly Detection in Aerospace Software [46.75681367373185]
時系列異常検出(TSAD)は、航空宇宙ソフトウェアシステムの安全性と信頼性を確保するために不可欠である。大規模言語モデル(LLM)は、教師なしアプローチに代わる、有望なトレーニングなしの代替手段を提供する。 ATSADBenchは航空宇宙TSADの最初のベンチマークである。
論文参考訳（メタデータ） (2026-01-18T15:07:16Z)
Toward Training Superintelligent Software Agents through Self-Play SWE-RL [66.11447353341926]
セルフプレイSWE-RLは、超知能ソフトウェアエージェントのトレーニングパラダイムに向けた第一歩である。当社のアプローチでは,ソースコードとインストール済みの依存関係を備えたサンドボックスリポジトリへのアクセスのみを必要としています。我々の成果は、早い段階で、エージェントが現実世界のソフトウェアリポジトリから広範囲にわたる学習経験を自律的に収集する道のりを示唆している。
論文参考訳（メタデータ） (2025-12-21T00:49:40Z)
ANNIE: Be Careful of Your Robots [48.89876809734855]
エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。すべての安全カテゴリーで攻撃の成功率は50%を超えている。結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
論文参考訳（メタデータ） (2025-09-03T15:00:28Z)
AI Agentic Vulnerability Injection And Transformation with Optimized Reasoning [2.918225266151982]
AVIATORはAIによる最初の脆弱性注入ワークフローである。高忠実で多様な大規模な脆弱性データセット生成のために、現実的でカテゴリ固有の脆弱性を自動的に注入する。セマンティック分析、LoRAベースのファインチューニングとRetrieval-Augmented Generationで強化されたインジェクション合成、静的解析とLLMベースの識別器によるインジェクション後の検証を組み合わせる。
論文参考訳（メタデータ） (2025-08-28T14:59:39Z)
From MAS to MARS: Coordination Failures and Reasoning Trade-offs in Hierarchical Multi-Agent Robotic Systems within a Healthcare Scenario [3.5262044630932254]
マルチエージェントロボットシステム(MARS)は、物理的およびタスク関連の制約を統合することで、マルチエージェントシステム上に構築される。高度なマルチエージェントフレームワークが利用可能であるにも関わらず、実際のロボットへのデプロイメントは制限されている。
論文参考訳（メタデータ） (2025-08-06T17:54:10Z)
AutoMind: Adaptive Knowledgeable Agent for Automated Data Science [70.33796196103499]
LLM(Large Language Model)エージェントは、現実世界のデータサイエンス問題に対処する大きな可能性を示している。既存のフレームワークは、厳格で、事前定義された、柔軟性のないコーディング戦略に依存している。適応的で知識のあるLLMエージェントフレームワークであるAutoMindを紹介する。
論文参考訳（メタデータ） (2025-06-12T17:59:32Z)
Expert-in-the-Loop Systems with Cross-Domain and In-Domain Few-Shot Learning for Software Vulnerability Detection [38.083049237330826]
本研究では,CWE(Common Weaknessions)を用いたPythonコードの識別をシミュレーションすることにより,ソフトウェア脆弱性評価におけるLLM(Large Language Models)の利用について検討する。その結果,ゼロショットプロンプトは性能が低いが,少数ショットプロンプトは分類性能を著しく向上させることがわかった。モデル信頼性、解釈可能性、敵の堅牢性といった課題は、将来の研究にとって重要な領域のままである。
論文参考訳（メタデータ） (2025-06-11T18:43:51Z)
ATAG: AI-Agent Application Threat Assessment with Attack Graphs [23.757154032523093]
本稿では,Attack Graphs (ATAG) を用いたAIエージェントアプリケーションThreatアセスメントを提案する。 ATAGは、AIエージェントアプリケーションに関連するセキュリティリスクを体系的に分析するために設計された、新しいフレームワークである。マルチエージェントアプリケーションにおけるAIエージェント脅威の積極的な識別と緩和を容易にする。
論文参考訳（メタデータ） (2025-06-03T13:25:40Z)
R&D-Agent: Automating Data-Driven AI Solution Building Through LLM-Powered Automated Research, Development, and Evolution [60.80016554091364]
R&D-Agentは反復探索のための二重エージェントフレームワークである。 Researcherエージェントはパフォーマンスフィードバックを使用してアイデアを生成し、Developerエージェントはエラーフィードバックに基づいてコードを洗練する。 R&D-AgentはMLE-Benchで評価され、最高のパフォーマンスの機械学習エンジニアリングエージェントとして登場した。
論文参考訳（メタデータ） (2025-05-20T06:07:00Z)
AI2Agent: An End-to-End Framework for Deploying AI Projects as Autonomous Agents [15.802600809497097]
本稿では、ガイドライン駆動実行を通じてAIプロジェクトのデプロイメントを自動化するエンドツーエンドフレームワークであるAI2Agentを紹介する。我々は、TTS、テキスト・ツー・イメージ生成、画像編集、その他のAIアプリケーションをカバーする、30のAIデプロイメントケースの実験を行った。その結果、AI2Agentはデプロイメント時間を大幅に短縮し、成功率を向上させることがわかった。
論文参考訳（メタデータ） (2025-03-31T10:58:34Z)
Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文参考訳（メタデータ） (2025-02-18T02:26:50Z)
Auto-RT: Automatic Jailbreak Strategy Exploration for Red-Teaming Large Language Models [62.12822290276912]
Auto-RTは、複雑な攻撃戦略を探索し最適化する強化学習フレームワークである。探索効率を大幅に改善し、攻撃戦略を自動的に最適化することにより、Auto-RTはボーダの脆弱性範囲を検出し、検出速度が速く、既存の方法と比較して16.63%高い成功率を達成する。
論文参考訳（メタデータ） (2025-01-03T14:30:14Z)
Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。 ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
論文参考訳（メタデータ） (2024-05-09T18:15:12Z)
VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文参考訳（メタデータ） (2021-12-20T22:45:27Z)
DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
論文参考訳（メタデータ） (2021-09-08T14:07:55Z)
Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
論文参考訳（メタデータ） (2021-03-08T10:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。