論文の概要: Evaluating AI cyber capabilities with crowdsourced elicitation
- arxiv url: http://arxiv.org/abs/2505.19915v1
- Date: Mon, 26 May 2025 12:40:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:43.426832
- Title: Evaluating AI cyber capabilities with crowdsourced elicitation
- Title（参考訳）: クラウドソーシングによるAIサイバー能力の評価
- Authors: Artem Petrov, Dmitrii Volkov,
- Abstract要約: 我々は、新興AI能力に対する時間的かつ費用対効果の高い状況認識を維持するための実践的なメカニズムとして、Elicitation bountiesを提案する。
METRの手法を適用すると、AIエージェントは中央のヒトCTF参加者から1時間以下の労力を必要とするサイバー課題を確実に解決できることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As AI systems become increasingly capable, understanding their offensive cyber potential is critical for informed governance and responsible deployment. However, it's hard to accurately bound their capabilities, and some prior evaluations dramatically underestimated them. The art of extracting maximum task-specific performance from AIs is called "AI elicitation", and today's safety organizations typically conduct it in-house. In this paper, we explore crowdsourcing elicitation efforts as an alternative to in-house elicitation work. We host open-access AI tracks at two Capture The Flag (CTF) competitions: AI vs. Humans (400 teams) and Cyber Apocalypse_ (4000 teams). The AI teams achieve outstanding performance at both events, ranking top-13% and top-21% respectively for a total of \$7500 in bounties. This impressive performance suggests that open-market elicitation may offer an effective complement to in-house elicitation. We propose elicitation bounties as a practical mechanism for maintaining timely, cost-effective situational awareness of emerging AI capabilities. Another advantage of open elicitations is the option to collect human performance data at scale. Applying METR's methodology, we found that AI agents can reliably solve cyber challenges requiring one hour or less of effort from a median human CTF participant.
- Abstract（参考訳）: AIシステムがますます有能になるにつれて、彼らの攻撃的なサイバーポテンシャルを理解することは、情報的なガバナンスと責任あるデプロイメントにとって不可欠である。
しかし、それらの能力を正確に束縛することは困難であり、いくつかの以前の評価はそれらを劇的に過小評価した。
AIからタスク固有のパフォーマンスを最大限に抽出する技術は「AIエリケーション(AI elicitation)」と呼ばれ、今日の安全機関が社内で行うのが一般的である。
本稿では,クラウドソーシングによる勧誘作業の代替として,クラウドソーシングによる勧誘活動について検討する。
私たちは、AI vs. Humans(400チーム)とCyber Apocalypse_(4000チーム)という、2つのCapture The Flag(CTF)コンペティションで、オープンアクセスAIトラックをホストしています。
AIチームは両方のイベントで卓越したパフォーマンスを達成し、それぞれ上位13%と上位21%を、合計7500ドルの報奨金でランク付けしている。
この印象的なパフォーマンスは、オープンマーケットの勧誘が、社内での勧誘を効果的に補完する可能性があることを示唆している。
我々は、新興AI能力に対する時間的かつ費用対効果の高い状況認識を維持するための実践的なメカニズムとして、Elicitation bountiesを提案する。
オープンエレケーションのもうひとつのメリットは、大規模に人間のパフォーマンスデータを収集するオプションだ。
METRの手法を適用すると、AIエージェントは中央のヒトCTF参加者から1時間以下の労力を必要とするサイバー課題を確実に解決できることがわかった。
関連論文リスト
- Actionable AI: Enabling Non Experts to Understand and Configure AI Systems [5.534140394498714]
Actionable AIでは、非専門家がブラックボックスエージェントを設定することができる。
不確実な条件下では、非専門家は高いレベルの性能を達成する。
我々は、AIベースのエージェントへのアクセスをオープンにする手段として、Actionable AIを提案する。
論文 参考訳（メタデータ） (2025-03-09T23:09:04Z) - Superintelligence Strategy: Expert Version [64.7113737051525]
AI開発を不安定にすることで、大国間の対立の可能性が高まる可能性がある。
スーパーインテリジェンス — ほぼすべての認知タスクにおいて、AIが人間よりもはるかに優れている — が、AI研究者によって期待されている。
本稿では,相互保証型AI誤動作の概念を紹介する。
論文 参考訳（メタデータ） (2025-03-07T17:53:24Z) - How Performance Pressure Influences AI-Assisted Decision Making [57.53469908423318]
我々は、プレッシャーと説明可能なAI(XAI)技術がAIアドバイステイク行動とどのように相互作用するかを示す。
我々の結果は、圧力とXAIの異なる組み合わせで複雑な相互作用効果を示し、AIアドバイスの行動を改善するか、悪化させるかのどちらかを示す。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - Comparing Zealous and Restrained AI Recommendations in a Real-World Human-AI Collaboration Task [11.040918613968854]
正確さとリコールのトレードオフを慎重に活用することで、チームのパフォーマンスが大幅に向上する、と私たちは主張する。
我々は、a)AIアシストなし、b)高精度な「制限された」AI、c)3,466時間以上のアノテーション作業で、78のプロのアノテータのパフォーマンスを分析する。
論文 参考訳（メタデータ） (2024-10-06T23:19:19Z) - Towards the Terminator Economy: Assessing Job Exposure to AI through LLMs [10.844598404826355]
米国の雇用の3分の1はAIに強く依存しており、主に大学院または大学院の教育を必要とする高度な職業で行われている。
高度な職業であっても、AIはタスク置換において高い多様性を示し、AIと人間は同じ職業の中で相互に補完することを示唆している。
すべての結果、モデル、コードはオンラインで公開されており、コミュニティが結果を再現し、結果を比較し、私たちの仕事をベンチマークとして使用して、時間とともにAIの進捗を監視します。
論文 参考訳（メタデータ） (2024-07-27T08:14:18Z) - Towards an AI-Enhanced Cyber Threat Intelligence Processing Pipeline [0.0]
本稿では,人工知能(AI)をサイバー脅威知能(CTI)に統合する可能性について検討する。
我々は、AIに強化されたCTI処理パイプラインの青写真を提供し、そのコンポーネントと機能について詳述する。
倫理的ジレンマ、潜在的なバイアス、そしてAIによる意思決定における透明性の必須事項について論じる。
論文 参考訳（メタデータ） (2024-03-05T19:03:56Z) - DanZero+: Dominating the GuanDan Game through Reinforcement Learning [95.90682269990705]
我々は、GuanDanという、非常に複雑で人気のあるカードゲームのためのAIプログラムを開発した。
私たちはまず、DanZeroという名のAIプログラムをこのゲームのために提案しました。
AIの能力をさらに強化するために、政策に基づく強化学習アルゴリズムをGuanDanに適用する。
論文 参考訳（メタデータ） (2023-12-05T08:07:32Z) - Bending the Automation Bias Curve: A Study of Human and AI-based
Decision Making in National Security Contexts [0.0]
私たちは、AIに関する背景知識とAIに対する信頼の関係、自動化バイアスの確率に影響を与える他の要因との相互作用について理論を立てています。
我々は、AI産業のレベルが異なる9カ国の9000人の成人の代表例を対象に、事前登録されたタスク識別実験でテストを行った。
論文 参考訳（メタデータ） (2023-06-28T18:57:36Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳（メタデータ） (2020-04-27T19:06:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。