論文の概要: Open Problems in Machine Unlearning for AI Safety

• arxiv url: http://arxiv.org/abs/2501.04952v1
• Date: Thu, 09 Jan 2025 03:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:46.333386
• Title: Open Problems in Machine Unlearning for AI Safety
• Title（参考訳）: AI安全のための機械学習のオープンな問題
• Authors: Fazl Barez, Tingchen Fu, Ameya Prabhu, Stephen Casper, Amartya Sanyal, Adel Bibi, Aidan O'Gara, Robert Kirk, Ben Bucknall, Tim Fist, Luke Ong, Philip Torr, Kwok-Yan Lam, Robert Trager, David Krueger, Sören Mindermann, José Hernandez-Orallo, Mor Geva, Yarin Gal,
• Abstract要約: 特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。 本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
• 参考スコア（独自算出の注目度）: 61.43515658834902
• License:
• Abstract: As AI systems become more capable, widely deployed, and increasingly autonomous in critical areas such as cybersecurity, biological research, and healthcare, ensuring their safety and alignment with human values is paramount. Machine unlearning -- the ability to selectively forget or suppress specific types of knowledge -- has shown promise for privacy and data removal tasks, which has been the primary focus of existing research. More recently, its potential application to AI safety has gained attention. In this paper, we identify key limitations that prevent unlearning from serving as a comprehensive solution for AI safety, particularly in managing dual-use knowledge in sensitive domains like cybersecurity and chemical, biological, radiological, and nuclear (CBRN) safety. In these contexts, information can be both beneficial and harmful, and models may combine seemingly harmless information for harmful purposes -- unlearning this information could strongly affect beneficial uses. We provide an overview of inherent constraints and open problems, including the broader side effects of unlearning dangerous knowledge, as well as previously unexplored tensions between unlearning and existing safety mechanisms. Finally, we investigate challenges related to evaluation, robustness, and the preservation of safety features during unlearning. By mapping these limitations and open challenges, we aim to guide future research toward realistic applications of unlearning within a broader AI safety framework, acknowledging its limitations and highlighting areas where alternative approaches may be required.
• Abstract（参考訳）: サイバーセキュリティ、生物学的研究、医療といった重要な分野において、AIシステムがより有能になり、広くデプロイされ、より自律的になるにつれて、安全性と人間の価値との整合性を保証することが最重要である。 特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、既存の研究の主要な焦点であるプライバシーとデータ削除タスクの約束を示している。 最近では、AI安全性への潜在的な応用が注目されている。 本稿では,AIの安全性,特にサイバーセキュリティや化学,生物,放射線学,核(CBRN)といった敏感な分野における二元的知識の管理において,アンラーニングがAIの安全性の包括的ソリューションとして機能することを防ぐ重要な限界を特定する。 これらの文脈では、情報は有益かつ有害であり、モデルは有害な目的のために一見無害な情報を組み合わせうる。 我々は、未学習の危険な知識の幅広い副作用や、未学習と既存の安全メカニズムの間の未探索の緊張など、固有の制約とオープンな問題を概観する。 最後に,未学習時の安全性評価,ロバスト性,安全性の保全に関する課題について検討した。 これらの制限とオープンな課題をマッピングすることで、より広範なAI安全フレームワーク内でのアンラーニングの現実的な応用に向けた将来の研究をガイドし、その制限を認識し、代替アプローチが必要な分野を強調することを目指している。

関連論文リスト

• Ontology-Aware RAG for Improved Question-Answering in Cybersecurity Education [13.838970688067725]
  AIによる質問応答(QA)システムは、サイバーセキュリティの問題解決における不確実性を積極的に管理することができる。 大規模言語モデル(LLM)は、高度な言語理解とユーザエンゲージメントを提供するAI駆動のQAシステムで注目を集めている。 我々は,サイバーセキュリティ教育における信頼性および安全性の高いQAシステムを開発するための,オントロジー対応検索強化世代(RAG)アプローチであるCyberRAGを提案する。
  論文  参考訳（メタデータ） (2024-12-10T21:52:35Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Threats, Attacks, and Defenses in Machine Unlearning: A Survey [14.03428437751312]
  マシン・アンラーニング(MU)は、Safe AIを達成する可能性から、最近かなりの注目を集めている。 この調査は、機械学習における脅威、攻撃、防衛に関する広範な研究のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-03-20T15:40:18Z)
• When to Trust AI: Advances and Challenges for Certification of Neural Networks [26.890905486708117]
  現実世界のアプリケーションにAI技術の早期採用は問題なく行われていない。 本稿では,AI決定の安全性を確保するために開発された技術の概要を紹介する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:09Z)
• Machine Unlearning: A Survey [56.79152190680552]
  プライバシ、ユーザビリティ、および/または忘れられる権利のために、特定のサンプルに関する情報をマシンアンラーニングと呼ばれるモデルから削除する必要がある特別なニーズが生まれている。 この新興技術は、その革新と実用性により、学者と産業の両方から大きな関心を集めている。 この複雑なトピックを分析したり、さまざまなシナリオで既存の未学習ソリューションの実現可能性を比較したりした研究はない。 この調査は、未学習のテクニックに関する卓越した問題と、新しい研究機会のための実現可能な方向性を強調して締めくくった。
  論文  参考訳（メタデータ） (2023-06-06T10:18:36Z)
• New Challenges in Reinforcement Learning: A Survey of Security and Privacy [26.706957408693363]
  強化学習(Reinforcement Learning, RL)は、AIの最も重要な分野のひとつ。 RLは医療、データ市場、自動運転、ロボット工学など、さまざまな分野で広く採用されている。 これらのアプリケーションやシステムは、セキュリティやプライバシ攻撃に弱いことが示されている。
  論文  参考訳（メタデータ） (2022-12-31T12:30:43Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。