論文の概要: Technical Risks of (Lethal) Autonomous Weapons Systems

• arxiv url: http://arxiv.org/abs/2502.10174v1
• Date: Fri, 14 Feb 2025 14:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:48:02.006952
• Title: Technical Risks of (Lethal) Autonomous Weapons Systems
• Title（参考訳）: 自律兵器システムの技術的リスク
• Authors: Heramb Podar, Alycia Colijn,
• Abstract要約: 自律兵器システム(L)AWSの自律性と適応性は、前例のない運用能力を約束する。 しかし、彼らはまた、国際安全保障における制御、説明責任、安定性の原則に挑戦する深刻なリスクも導入している。 このレポートでは、(L)AWSデプロイメントに関連する重要な技術的リスクを概説し、予測不能、透明性の欠如、運用上の信頼性の欠如を強調している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The autonomy and adaptability of (Lethal) Autonomous Weapons Systems, (L)AWS in short, promise unprecedented operational capabilities, but they also introduce profound risks that challenge the principles of control, accountability, and stability in international security. This report outlines the key technological risks associated with (L)AWS deployment, emphasizing their unpredictability, lack of transparency, and operational unreliability, which can lead to severe unintended consequences. Key Takeaways: 1. Proposed advantages of (L)AWS can only be achieved through objectification and classification, but a range of systematic risks limit the reliability and predictability of classifying algorithms. 2. These systematic risks include the black-box nature of AI decision-making, susceptibility to reward hacking, goal misgeneralization and potential for emergent behaviors that escape human control. 3. (L)AWS could act in ways that are not just unexpected but also uncontrollable, undermining mission objectives and potentially escalating conflicts. 4. Even rigorously tested systems may behave unpredictably and harmfully in real-world conditions, jeopardizing both strategic stability and humanitarian principles.
• Abstract（参考訳）: 自律兵器システムの自律性と適応性 略して(L)AWSは、前例のない運用能力を約束するが、国際安全保障における制御、説明責任、安定性の原則に挑戦する深刻なリスクも導入する。 このレポートでは、(L)AWSデプロイメントに関連する重要な技術的リスクを概説し、予測不能性、透明性の欠如、運用上の信頼性に重点を置いている。 主な特徴: 1. (L)AWSの提案する利点は、オブジェクト化と分類によってのみ達成できるが、体系的なリスクの範囲は、分類アルゴリズムの信頼性と予測可能性を制限する。 これらの体系的リスクには、AI意思決定のブラックボックス的性質、ハッキングの報奨への感受性、目標の一般化、人間のコントロールから逃れる創発的行動の可能性が含まれる。 3. (L)AWSは、予期せぬだけでなく、制御不能な方法で行動し、ミッション目標を弱め、競合をエスカレートする可能性がある。 4.厳格にテストされたシステムでさえ、現実の状況下で予測不可能かつ有害に振舞い、戦略的安定性と人道的原則の両方を危険にさらすことがある。

関連論文リスト

• Towards Robust and Secure Embodied AI: A Survey on Vulnerabilities and Attacks [22.154001025679896]
  ロボットや自動運転車を含む身体的AIシステムは、現実のアプリケーションにますます統合されている。 これらの脆弱性は、センサーのスプーフィング、敵攻撃、タスクおよび動作計画における失敗を通じて現れる。
  論文  参考訳（メタデータ） (2025-02-18T03:38:07Z)
• Safety is Essential for Responsible Open-Ended Systems [47.172735322186]
  オープンエンドレスネス(Open-Endedness)とは、AIシステムが新規で多様なアーティファクトやソリューションを継続的に自律的に生成する能力である。 このポジションペーパーは、Open-Ended AIの本質的に動的で自己伝播的な性質は、重大な、未発見のリスクをもたらすと主張している。
  論文  参考訳（メタデータ） (2025-02-06T21:32:07Z)
• Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
  大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。 現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。 我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-11-04T17:41:25Z)
• Trust or Bust: Ensuring Trustworthiness in Autonomous Weapon Systems [0.0]
  本稿では,自律兵器システム(AWS)における信頼の多面的性質について考察する。 バイアス、運用上の障害、説明責任に関連するリスクを軽減するために、信頼性と透明性を備えたシステムを確立する必要性を強調します。 技術者、倫理学者、軍事戦略家を含む協力的なアプローチを提唱し、現在進行中の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-14T08:36:06Z)
• AI Risk Management Should Incorporate Both Safety and Security [185.68738503122114]
  AIリスクマネジメントの利害関係者は、安全とセキュリティの間のニュアンス、シナジー、相互作用を意識すべきである、と私たちは主張する。 我々は、AIの安全性とAIのセキュリティの違いと相互作用を明らかにするために、統一された参照フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-29T21:00:47Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• SOTIF Entropy: Online SOTIF Risk Quantification and Mitigation for Autonomous Driving [16.78084912175149]
  本稿では,SOTIFリスクを最小化するための体系的アプローチとして,自己監視・自己適応システムを提案する。 このシステムのコアは、自動運転車内で実装された人工知能アルゴリズムのリスクモニタリングである。 固有認識アルゴリズムのリスクと外部衝突のリスクは、SOTIFエントロピーを介して共同で定量化される。
  論文  参考訳（メタデータ） (2022-11-08T05:02:12Z)
• Safe AI -- How is this Possible? [0.45687771576879593]
  従来の安全エンジニアリングは、決定論的で非進化的なシステムが、明確に定義されたコンテキストで運用されるものから、予測不可能な操作コンテキストで機能する自律的で学習可能なAIシステムへと、転換点に近づいている。 我々は、安全AIの基本的な課題を概説し、AIシステムの安全な振る舞いにおいて、不確実性を最小化し、信頼性を高め、許容レベルまで、厳格なエンジニアリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-25T16:32:35Z)
• Learning to Be Cautious [71.9871661858886]
  強化学習の分野における重要な課題は、新しい状況下で慎重に行動するエージェントを開発することである。 注意深い行動がますます不要になるタスクのシーケンスと、システムが注意深いことを実証するアルゴリズムを提示する。
  論文  参考訳（メタデータ） (2021-10-29T16:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。