論文の概要: An Approach to Technical AGI Safety and Security

• arxiv url: http://arxiv.org/abs/2504.01849v1
• Date: Wed, 02 Apr 2025 15:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:26:00.206917
• Title: An Approach to Technical AGI Safety and Security
• Title（参考訳）: 技術AGIの安全性とセキュリティへのアプローチ
• Authors: Rohin Shah, Alex Irpan, Alexander Matt Turner, Anna Wang, Arthur Conmy, David Lindner, Jonah Brown-Cohen, Lewis Ho, Neel Nanda, Raluca Ada Popa, Rishub Jain, Rory Greig, Samuel Albanie, Scott Emmons, Sebastian Farquhar, Sébastien Krier, Senthooran Rajamanoharan, Sophie Bridgers, Tobi Ijitoye, Tom Everitt, Victoria Krakovna, Vikrant Varma, Vladimir Mikulik, Zachary Kenton, Dave Orr, Shane Legg, Noah Goodman, Allan Dafoe, Four Flynn, Anca Dragan,
• Abstract要約: 我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。 私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。 これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
• 参考スコア（独自算出の注目度）: 72.83728459135101
• License:
• Abstract: Artificial General Intelligence (AGI) promises transformative benefits but also presents significant risks. We develop an approach to address the risk of harms consequential enough to significantly harm humanity. We identify four areas of risk: misuse, misalignment, mistakes, and structural risks. Of these, we focus on technical approaches to misuse and misalignment. For misuse, our strategy aims to prevent threat actors from accessing dangerous capabilities, by proactively identifying dangerous capabilities, and implementing robust security, access restrictions, monitoring, and model safety mitigations. To address misalignment, we outline two lines of defense. First, model-level mitigations such as amplified oversight and robust training can help to build an aligned model. Second, system-level security measures such as monitoring and access control can mitigate harm even if the model is misaligned. Techniques from interpretability, uncertainty estimation, and safer design patterns can enhance the effectiveness of these mitigations. Finally, we briefly outline how these ingredients could be combined to produce safety cases for AGI systems.
• Abstract（参考訳）: 人工知能(AGI)は変革的利益を約束するが、大きなリスクも生んでいる。 我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。 誤用、誤調整、ミス、構造的リスクの4つの領域を特定します。 これらのうち、誤用や悪用に対する技術的なアプローチに重点を置いています。 我々の戦略は、危険能力を積極的に識別し、堅牢なセキュリティ、アクセス制限、監視、モデル安全対策を実装することで、脅威アクターが危険な機能にアクセスするのを防ぐことを目的としています。 不整合に対処するため、我々は2つの防衛線を概説する。 第一に、強化された監視や堅牢なトレーニングのようなモデルレベルの緩和は、整合したモデルを構築するのに役立ちます。 第二に、監視やアクセス制御といったシステムレベルのセキュリティ対策は、モデルが不一致であっても害を軽減することができる。 解釈可能性、不確実性推定、より安全な設計パターンといった技術は、これらの緩和の有効性を高めることができる。 最後に,これらの成分を組み合わせることで,AGIシステムの安全性を実現する方法について概説する。

関連論文リスト

• Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
  特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。 本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
  論文  参考訳（メタデータ） (2025-01-09T03:59:10Z)
• Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
  大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。 現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。 我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-11-04T17:41:25Z)
• Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
  本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。 我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。 これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
  論文  参考訳（メタデータ） (2024-09-03T10:14:51Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Sustainable Adaptive Security [11.574868434725117]
  本稿では,新たに発見された脅威を軽減し,適応型セキュリティシステムの拡張による永続的保護を反映したサステナブル・アダプティブ・セキュリティ(SAS)の概念を提案する。 私たちはスマートホームの例を使って、持続可能な適応セキュリティを満たすシステムのMAPE(Monitor, Analysis, Planning, Execution)ループのアクティビティをどのように構築できるかを示します。
  論文  参考訳（メタデータ） (2023-06-05T08:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。