論文の概要: Mitigating Cyber Risk in the Age of Open-Weight LLMs: Policy Gaps and Technical Realities

• arxiv url: http://arxiv.org/abs/2505.17109v1
• Date: Wed, 21 May 2025 11:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.572864
• Title: Mitigating Cyber Risk in the Age of Open-Weight LLMs: Policy Gaps and Technical Realities
• Title（参考訳）: オープンウェイトLDM時代のサイバーリスクの軽減--政策ギャップと技術的現実
• Authors: Alfonso de Gregorio,
• Abstract要約: オープンウェイト汎用AI(GPAI)モデルには大きなメリットがあるが、重大なサイバーセキュリティリスクも伴う。 本稿では、オープンウェイトAIリリースによって拡大した、マルウェア開発とソーシャルエンジニアリングの強化を含む、特定の脅威を分析する。 本稿では,モデル全体ではなく,特定のハイリスク機能の評価と制御に重点を置く経路を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-weight general-purpose AI (GPAI) models offer significant benefits but also introduce substantial cybersecurity risks, as demonstrated by the offensive capabilities of models like DeepSeek-R1 in evaluations such as MITRE's OCCULT. These publicly available models empower a wider range of actors to automate and scale cyberattacks, challenging traditional defence paradigms and regulatory approaches. This paper analyzes the specific threats -- including accelerated malware development and enhanced social engineering -- magnified by open-weight AI release. We critically assess current regulations, notably the EU AI Act and the GPAI Code of Practice, identifying significant gaps stemming from the loss of control inherent in open distribution, which renders many standard security mitigations ineffective. We propose a path forward focusing on evaluating and controlling specific high-risk capabilities rather than entire models, advocating for pragmatic policy interpretations for open-weight systems, promoting defensive AI innovation, and fostering international collaboration on standards and cyber threat intelligence (CTI) sharing to ensure security without unduly stifling open technological progress.
• Abstract（参考訳）: オープンウェイト汎用AI(GPAI)モデルは大きなメリットを提供するが、MITREのOCCULTのような評価においてDeepSeek-R1のようなモデルの攻撃的能力によって実証されるような、重大なサイバーセキュリティリスクももたらす。 これらの公開モデルは、幅広いアクターに対して、サイバー攻撃の自動化とスケール、従来の防衛パラダイムと規制アプローチに挑戦する権限を与える。 本稿では、オープンウェイトAIリリースによって拡大した、マルウェア開発とソーシャルエンジニアリングの強化を含む、特定の脅威を分析する。 我々は、現在の規制、特にEU AI ActとGPAI Code of Practiceを批判的に評価し、オープンディストリビューションに固有のコントロールの喪失に起因する重大なギャップを特定します。 我々は、モデル全体よりも特定の高リスク能力を評価・制御することに注力し、オープンウェイトシステムの実用的ポリシー解釈を提唱し、AI革新を擁護し、オープンな技術進歩を損なうことなくセキュリティを確保するために、標準とサイバー脅威情報(CTI)の共有に関する国際協力を促進します。

関連論文リスト

• Beyond the Binary: A nuanced path for open-weight advanced AI [0.0]
  オープンウェイトAIモデル(Open-weight Advanced AI Model)は、パラメータが自由にダウンロードおよび適応できるシステムである。 このレポートは、'オープン'と'クローズ'のAIのバイナリフレーミングを越えている。 開発者や司法機関間での安全性の実践には大きな違いがある。 本稿では,厳密なリスクアセスメントによって開放性が決定され,安全性が実証されたモデルリリースに対して,階層的かつ安全性に配慮したアプローチを提案する。
  論文  参考訳（メタデータ） (2026-02-23T10:26:23Z)
• Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
  この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。 この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
  論文  参考訳（メタデータ） (2026-02-16T04:30:06Z)
• Toward Risk Thresholds for AI-Enabled Cyber Threats: Enhancing Decision-Making Under Uncertainty with Bayesian Networks [0.3151064009829256]
  我々は、AIサイバーリスク閾値の開発と評価のための構造化アプローチを提案する。 まず、既存の業界におけるサイバーしきい値を分析し、共通しきい値要素を同定する。 第2に,AI可能なサイバーリスクをモデル化するためのツールとしてベイズネットワークを提案する。
  論文  参考訳（メタデータ） (2026-01-23T23:23:12Z)
• Governable AI: Provable Safety Under Extreme Threat Models [31.36879992618843]
  我々は、従来の内部制約から外部に強制された構造コンプライアンスに移行するGAI(Governable AI)フレームワークを提案する。 GAIフレームワークは、シンプルで信頼性が高く、完全に決定論的で、強力で、柔軟性があり、汎用的なルール執行モジュール(REM)、ガバナンスルール、AIによる妥協やサブバージョンに対するエンドツーエンドの保護を提供する、統制可能なセキュアなスーパープラットフォーム(GSSP)で構成されている。
  論文  参考訳（メタデータ） (2025-08-28T04:22:59Z)
• A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
  近年の研究では、敵が対象モデルの機能を複製できることが示されている。 モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。 本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2025-08-20T19:49:59Z)
• Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
  本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
  論文  参考訳（メタデータ） (2025-08-12T09:42:56Z)
• Offensive Security for AI Systems: Concepts, Practices, and Applications [0.0]
  従来の防御策は、AI駆動技術に直面するユニークで進化する脅威に対して、しばしば不足する。 本稿では、AIライフサイクル全体を通して脆弱性を明らかにするために、積極的な脅威シミュレーションと敵対的なテストを強調する。
  論文  参考訳（メタデータ） (2025-05-09T18:58:56Z)
• Threat Modeling for AI: The Case for an Asset-Centric Approach [0.23408308015481666]
  AIシステムは、自律的にコードを実行し、外部システムと対話し、人間の監視なしに運用することが可能になった。 AIシステムが自律的にコードを実行し、外部システムと対話し、人間の監視なしに運用できるようになったことで、従来のセキュリティアプローチは不足する。 本稿では、脅威モデリングAIシステムのための資産中心の方法論を紹介する。
  論文  参考訳（メタデータ） (2025-05-08T18:57:08Z)
• In-House Evaluation Is Not Enough: Towards Robust Third-Party Flaw Disclosure for General-Purpose AI [93.33036653316591]
  我々はシステムの安全性を高めるために3つの介入を要求します。 まず、標準化されたAI欠陥レポートと研究者へのエンゲージメントのルールを用いることを提案する。 第2に,GPAIシステムプロバイダが広視野欠陥開示プログラムを採用することを提案する。 第3に,欠陥報告の分布を調整するための改良されたインフラの開発を提唱する。
  論文  参考訳（メタデータ） (2025-03-21T05:09:46Z)
• Decoding the Black Box: Integrating Moral Imagination with Technical AI Governance [0.0]
  我々は、防衛、金融、医療、教育といった高度な領域に展開するAI技術を規制するために設計された包括的なフレームワークを開発する。 本手法では,厳密な技術的分析,定量的リスク評価,規範的評価を併用して,システム的脆弱性を暴露する。
  論文  参考訳（メタデータ） (2025-03-09T03:11:32Z)
• Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
  我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。 これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
  論文  参考訳（メタデータ） (2024-12-19T13:50:26Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
  Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。 こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。 この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
  論文  参考訳（メタデータ） (2024-05-14T13:37:36Z)
• Asset-centric Threat Modeling for AI-based Systems [7.696807063718328]
  本稿では、AI関連資産、脅威、対策、残留リスクの定量化のためのアプローチおよびツールであるThreatFinderAIを提案する。 このアプローチの実用性を評価するため、参加者はAIベースのヘルスケアプラットフォームのサイバーセキュリティ専門家によって開発された脅威モデルを再現するよう命じられた。 全体として、ソリューションのユーザビリティはよく認識され、脅威の識別とリスクの議論を効果的にサポートする。
  論文  参考訳（メタデータ） (2024-03-11T08:40:01Z)
• Coordinated Flaw Disclosure for AI: Beyond Security Vulnerabilities [1.3225694028747144]
  本稿では,機械学習(ML)問題の複雑度に合わせたコーディネート・フレーバー開示フレームワークを提案する。 本フレームワークは,拡張モデルカード,ダイナミックスコープ拡張,独立適応パネル,自動検証プロセスなどのイノベーションを導入している。 CFDはAIシステムに対する公的な信頼を著しく向上させる可能性があると我々は主張する。
  論文  参考訳（メタデータ） (2024-02-10T20:39:04Z)
• Risks of AI Scientists: Prioritizing Safeguarding Over Autonomy [65.77763092833348]
  この視点は、AI科学者の脆弱性を調べ、その誤用に関連する潜在的なリスクに光を当てる。 我々は、ユーザ意図、特定の科学的領域、およびそれらが外部環境に与える影響を考慮に入れている。 本稿では,人間規制,エージェントアライメント,環境フィードバックの理解を含む三段階的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。