論文の概要: Amazon Nova AI Challenge -- Trusted AI: Advancing secure, AI-assisted software development
- arxiv url: http://arxiv.org/abs/2508.10108v1
- Date: Wed, 13 Aug 2025 18:04:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 22:24:48.077594
- Title: Amazon Nova AI Challenge -- Trusted AI: Advancing secure, AI-assisted software development
- Title（参考訳）: Amazon Nova AI Challenge -- 信頼されたAI: セキュアでAI支援のソフトウェア開発を促進する
- Authors: Sattvik Sahai, Prasoon Goyal, Michael Johnston, Anna Gottardi, Yao Lu, Lucy Hu, Luke Dai, Shaohua Liu, Samyuth Sagi, Hangjie Shi, Desheng Zhang, Lavina Vaz, Leslie Ball, Maureen Murray, Rahul Gupta, Shankar Ananthakrishna,
- Abstract要約: Amazon Nova AI Challengeは、セキュアAIの進歩を推進する10の大学チームの間で、世界的な競争である。
本稿では,大学チームとAmazon Nova AI Challengeチームによる,ソフトウェア開発におけるAIの安全性問題への取り組みについて概説する。
- 参考スコア（独自算出の注目度）: 17.799708565824428
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: AI systems for software development are rapidly gaining prominence, yet significant challenges remain in ensuring their safety. To address this, Amazon launched the Trusted AI track of the Amazon Nova AI Challenge, a global competition among 10 university teams to drive advances in secure AI. In the challenge, five teams focus on developing automated red teaming bots, while the other five create safe AI assistants. This challenge provides teams with a unique platform to evaluate automated red-teaming and safety alignment methods through head-to-head adversarial tournaments where red teams have multi-turn conversations with the competing AI coding assistants to test their safety alignment. Along with this, the challenge provides teams with a feed of high quality annotated data to fuel iterative improvement. Throughout the challenge, teams developed state-of-the-art techniques, introducing novel approaches in reasoning-based safety alignment, robust model guardrails, multi-turn jail-breaking, and efficient probing of large language models (LLMs). To support these efforts, the Amazon Nova AI Challenge team made substantial scientific and engineering investments, including building a custom baseline coding specialist model for the challenge from scratch, developing a tournament orchestration service, and creating an evaluation harness. This paper outlines the advancements made by university teams and the Amazon Nova AI Challenge team in addressing the safety challenges of AI for software development, highlighting this collaborative effort to raise the bar for AI safety.
- Abstract（参考訳）: ソフトウェア開発のためのAIシステムは急速に普及している。
これを解決するため、Amazonは、セキュアAIの進歩を推進すべく、10の大学チームによるグローバルな競争であるAmazon Nova AI ChallengeのTrusted AIトラックを立ち上げた。
この課題では、5つのチームが自動化されたレッドチームボットの開発に注力し、残りの5チームが安全なAIアシスタントを作成している。
この課題は、チームがAIコーディングアシスタントと複数回会話し、安全アライメントをテストするヘッド・ツー・ヘッドの対戦トーナメントを通じて、自動化された赤チームと安全アライメントメソッドを評価するためのユニークなプラットフォームを提供する。
これに加えて、イテレーティブな改善を促進するために、高品質なアノテートされたデータのフィードを提供する。
この課題を通じて、チームは最先端の技術を開発し、推論ベースの安全性アライメント、堅牢なモデルガードレール、マルチターンジェイルブレイク、大規模言語モデル(LLM)の効率的な探索といった新しいアプローチを導入した。
これらの取り組みをサポートするため、Amazon Nova AI Challengeチームは、スクラッチからチャレンジのためのカスタムベースラインコーディングスペシャリストモデルの構築、トーナメントオーケストレーションサービスの開発、評価ハーネスの作成など、科学的および工学的な投資を行った。
本稿では,大学チームとAmazon Nova AI Challengeチームが,ソフトウェア開発におけるAIの安全性上の課題に対処する上で行った進歩を概説し,AIの安全性を高めるためのこの共同作業を強調した。
関連論文リスト
- The Singapore Consensus on Global AI Safety Research Priorities [128.58674892183657]
2025年シンガポールAI会議(SCAI: International Scientific Exchange on AI Safety)は、この分野での研究を支援することを目的としている。
ヨシュア・ベンジオが議長を務める国際AI安全レポート(AI Safety Report)は、33の政府によって支援されている。
レポートは、AI安全研究ドメインを3つのタイプに分類する。信頼に値するAIシステム(開発)作成の課題、リスク評価の課題(評価)、デプロイメント後の監視と介入の課題(会議)。
論文 参考訳（メタデータ） (2025-06-25T17:59:50Z) - Lessons From Red Teaming 100 Generative AI Products [1.5285633805077958]
近年では、生成型AIシステムの安全性とセキュリティを調査するためのプラクティスとして、AIレッド・チームリングが登場している。
私たちは、レッドチームと現実世界のリスクの調整を目的とした実践的なレコメンデーションを提供します。
論文 参考訳（メタデータ） (2025-01-13T11:36:33Z) - Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-09-23T10:18:10Z) - A Red Teaming Framework for Securing AI in Maritime Autonomous Systems [0.0]
海上自律システムのAIセキュリティを評価するための,最初のレッドチームフレームワークを提案する。
このフレームワークはマルチパートのチェックリストであり、異なるシステムや要件に合わせて調整できる。
私たちはこのフレームワークが、現実の海上自律システムAI内の多数の脆弱性を明らかにするために、レッドチームにとって非常に効果的であることを実証しています。
論文 参考訳（メタデータ） (2023-12-08T14:59:07Z) - DanZero+: Dominating the GuanDan Game through Reinforcement Learning [95.90682269990705]
我々は、GuanDanという、非常に複雑で人気のあるカードゲームのためのAIプログラムを開発した。
私たちはまず、DanZeroという名のAIプログラムをこのゲームのために提案しました。
AIの能力をさらに強化するために、政策に基づく強化学習アルゴリズムをGuanDanに適用する。
論文 参考訳（メタデータ） (2023-12-05T08:07:32Z) - The Promise and Peril of Artificial Intelligence -- Violet Teaming
Offers a Balanced Path Forward [56.16884466478886]
本稿では、不透明で制御不能なAIシステムにおける新興問題についてレビューする。
信頼性と責任のあるAIを開発するために、紫外チームと呼ばれる統合フレームワークを提案する。
それは、設計によって積極的にリスクを管理するためのAI安全研究から生まれた。
論文 参考訳（メタデータ） (2023-08-28T02:10:38Z) - Positive AI: Key Challenges in Designing Artificial Intelligence for
Wellbeing [0.5461938536945723]
多くの人々は、AIが自分の生活に与える影響をますます心配しています。
AIの進歩を確実にするために、一部の研究者はAIを統治する鍵となる目的として「幸福」を提案した。
この記事では、幸福のためにAIを設計する際の重要な課題に対処する。
論文 参考訳（メタデータ） (2023-04-12T12:43:00Z) - Artificial Intelligence Security Competition (AISC) [52.20676747225118]
人工知能セキュリティコンペティション(AISC)は、Zhonguancun Laboratory、China Industrial Control Systems Cyber Emergency Response Team、Institute for Artificial Intelligence、清華大学、RealAIによって組織された。
コンテストはディープフェイクセキュリティコンペティション、自律運転セキュリティコンペティション、顔認識セキュリティコンペティションの3つのトラックで構成されている。
本報告では,これらの3トラックの競合ルールと,各トラックの上位チームのソリューションについて紹介する。
論文 参考訳（メタデータ） (2022-12-07T02:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。