論文の概要: AI Risk Management Should Incorporate Both Safety and Security

• arxiv url: http://arxiv.org/abs/2405.19524v1
• Date: Wed, 29 May 2024 21:00:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 19:06:28.620985
• Title: AI Risk Management Should Incorporate Both Safety and Security
• Title（参考訳）: AIリスクマネジメントは安全とセキュリティの両方を取り入れるべきである
• Authors: Xiangyu Qi, Yangsibo Huang, Yi Zeng, Edoardo Debenedetti, Jonas Geiping, Luxi He, Kaixuan Huang, Udari Madhushani, Vikash Sehwag, Weijia Shi, Boyi Wei, Tinghao Xie, Danqi Chen, Pin-Yu Chen, Jeffrey Ding, Ruoxi Jia, Jiaqi Ma, Arvind Narayanan, Weijie J Su, Mengdi Wang, Chaowei Xiao, Bo Li, Dawn Song, Peter Henderson, Prateek Mittal,
• Abstract要約: AIリスクマネジメントの利害関係者は、安全とセキュリティの間のニュアンス、シナジー、相互作用を意識すべきである、と私たちは主張する。 我々は、AIの安全性とAIのセキュリティの違いと相互作用を明らかにするために、統一された参照フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 185.68738503122114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The exposure of security vulnerabilities in safety-aligned language models, e.g., susceptibility to adversarial attacks, has shed light on the intricate interplay between AI safety and AI security. Although the two disciplines now come together under the overarching goal of AI risk management, they have historically evolved separately, giving rise to differing perspectives. Therefore, in this paper, we advocate that stakeholders in AI risk management should be aware of the nuances, synergies, and interplay between safety and security, and unambiguously take into account the perspectives of both disciplines in order to devise mostly effective and holistic risk mitigation approaches. Unfortunately, this vision is often obfuscated, as the definitions of the basic concepts of "safety" and "security" themselves are often inconsistent and lack consensus across communities. With AI risk management being increasingly cross-disciplinary, this issue is particularly salient. In light of this conceptual challenge, we introduce a unified reference framework to clarify the differences and interplay between AI safety and AI security, aiming to facilitate a shared understanding and effective collaboration across communities.
• Abstract（参考訳）: 安全に整合した言語モデルにおけるセキュリティ脆弱性の暴露、例えば、敵攻撃に対する感受性は、AIの安全性とAIのセキュリティの間の複雑な相互作用に光を当てている。 現在、2つの規律はAIリスク管理という大まかな目標の下にまとめられているが、それらは歴史的に別々に進化し、異なる視点を生み出している。 そこで,本稿では,AIリスクマネジメントの利害関係者が,安全と安全の間のニュアンス,シナジー,相互作用を意識し,主に効果的で全体論的リスク軽減アプローチを考案するために,両分野の視点を明確かつ考慮しなくてはならないことを主張する。 残念なことに、このビジョンは「安全」と「安全」の基本的な概念の定義が矛盾し、コミュニティ全体でのコンセンサスが欠如しているため、しばしば難解である。 AIのリスク管理はますます学際的になってきており、この問題は特に健全だ。 この概念的課題を踏まえ、我々は、コミュニティ間の共通理解と効果的なコラボレーションを促進することを目的として、AIの安全性とAIのセキュリティの違いと相互作用を明らかにする統一された参照フレームワークを導入する。

関連論文リスト

• Standardization Trends on Safety and Trustworthiness Technology for Advanced AI [0.0]
  大規模言語モデルと基礎モデルに基づく最近のAI技術は、人工知能に近づいたり、超えたりしている。 これらの進歩は、高度なAIの安全性と信頼性に関する懸念を引き起こしている。 AIの安全性と信頼性を確保するため、国際的に合意された標準を開発するための努力が実施されている。
  論文  参考訳（メタデータ） (2024-10-29T15:50:24Z)
• Towards Assuring EU AI Act Compliance and Adversarial Robustness of LLMs [1.368472250332885]
  大規模な言語モデルは誤用しがちで、セキュリティの脅威に弱い。 欧州連合の人工知能法は、特定の文脈においてAIの堅牢性を強制しようとするものである。
  論文  参考訳（メタデータ） (2024-10-04T18:38:49Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• Cross-Modality Safety Alignment [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Transdisciplinary AI Observatory -- Retrospective Analyses and Future-Oriented Contradistinctions [22.968817032490996]
  本稿では、本質的に学際的なAI観測アプローチの必要性を動機づける。 これらのAI観測ツールに基づいて、我々はAIの安全性に関する短期的な学際的ガイドラインを提示する。
  論文  参考訳（メタデータ） (2020-11-26T16:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。