論文の概要: Escalation Risks from Language Models in Military and Diplomatic Decision-Making

• arxiv url: http://arxiv.org/abs/2401.03408v1
• Date: Sun, 7 Jan 2024 07:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 19:02:33.422323
• Title: Escalation Risks from Language Models in Military and Diplomatic Decision-Making
• Title（参考訳）: 軍事的・外交的意思決定における言語モデルからのエスカレーションリスク
• Authors: Juan-Pablo Rivera, Gabriel Mukobi, Anka Reuel, Max Lamparth, Chandler Smith, Jacquelyn Schneider
• Abstract要約: この研究は、シミュレーションされたウォーゲームにおいて、複数のAIエージェントの振る舞いを精査することを目的としている。 我々は,これらのエージェントによる行動のエスカレーションのリスクを評価するために,新たなウォーゲームシミュレーションとスコアリングフレームワークを設計する。 我々は、モデルが兵器追跡力学を発達させ、より大きな紛争、そして稀に核兵器の配備に至る傾向があることを観察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Governments are increasingly considering integrating autonomous AI agents in high-stakes military and foreign-policy decision-making, especially with the emergence of advanced generative AI models like GPT-4. Our work aims to scrutinize the behavior of multiple AI agents in simulated wargames, specifically focusing on their predilection to take escalatory actions that may exacerbate multilateral conflicts. Drawing on political science and international relations literature about escalation dynamics, we design a novel wargame simulation and scoring framework to assess the escalation risks of actions taken by these agents in different scenarios. Contrary to prior studies, our research provides both qualitative and quantitative insights and focuses on large language models (LLMs). We find that all five studied off-the-shelf LLMs show forms of escalation and difficult-to-predict escalation patterns. We observe that models tend to develop arms-race dynamics, leading to greater conflict, and in rare cases, even to the deployment of nuclear weapons. Qualitatively, we also collect the models' reported reasonings for chosen actions and observe worrying justifications based on deterrence and first-strike tactics. Given the high stakes of military and foreign-policy contexts, we recommend further examination and cautious consideration before deploying autonomous language model agents for strategic military or diplomatic decision-making.
• Abstract（参考訳）: 政府は、特にGPT-4のような先進的なジェネレーティブAIモデルの出現に伴い、軍事的および外国の意思決定に自律的なAIエージェントを統合することを検討している。 私たちの研究は、シミュレートされた戦争ゲームにおける複数のaiエージェントの振る舞いを精査することを目的としています。 政治科学と国際関係のエスカレーションダイナミクスに関する文献を参考に,これらのエージェントによるエスカレーションリスクを異なるシナリオで評価するための,新たなウォーゲームシミュレーションとスコアリングフレームワークを設計する。 従来の研究とは対照的に,我々の研究は質的および定量的な洞察と,大規模言語モデル(LLM)に焦点を当てている。 調査対象のLLMは,いずれもエスカレーションと予測困難なエスカレーションパターンを示す。 我々は、モデルが武器競争のダイナミクスを発達させ、より大きな衝突を引き起こし、稀に核兵器の配備に繋がる傾向があることを観察する。 定性的には,モデルが選択した行動について報告した推論を収集し,抑止行動と第一ストライク戦術に基づく不安の正当化を観察する。 軍事的・外政的な文脈の重大さを踏まえ、戦略的軍事的・外交的意思決定のために自律言語モデルエージェントを配備する前に、さらなる検討と慎重な検討を推奨する。

関連論文リスト

• Mind the Gap: Foundation Models and the Covert Proliferation of Military Intelligence, Surveillance, and Targeting [0.0]
  我々は、個人識別可能な情報がISTAR能力に寄与するのを防ぐことができないことが、敵による軍事AI技術の使用と普及に繋がることを示した。 我々は、軍事システムを確保し、AI兵器の普及を制限するためには、軍用AIシステムと個人データを商業基盤モデルから絶縁する必要があると結論付けている。
  論文  参考訳（メタデータ） (2024-10-18T19:04:30Z)
• The GPT Dilemma: Foundation Models and the Shadow of Dual-Use [0.0]
  本稿では、基礎モデルの二重利用課題と、国際安全保障に影響を及ぼすリスクについて検討する。 本稿では,基礎モデルの開発サイクルにおいて,モデル入力,機能,システム利用事例,システム展開の4つの重要な要因を分析した。 本稿では、中距離原子力軍(INF)条約をケーススタディとして、関連するリスクを軽減するためのいくつかの戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-29T22:36:27Z)
• Particip-AI: A Democratic Surveying Framework for Anticipating Future AI Use Cases, Harms and Benefits [54.648819983899614]
  汎用AIは、一般大衆がAIを使用してそのパワーを利用するための障壁を下げたようだ。 本稿では,AI利用事例とその影響を推測し,評価するためのフレームワークであるPartICIP-AIを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T19:12:37Z)
• Human vs. Machine: Behavioral Differences Between Expert Humans and Language Models in Wargame Simulations [1.6108153271585284]
  大規模言語モデル(LLM)は、高い軍事的意思決定シナリオにおいて、人間と異なる振る舞いを示す。 当社の結果は、自律性を認める前に政策立案者が慎重であること、あるいはAIベースの戦略レコメンデーションに従うことを動機付けています。
  論文  参考訳（メタデータ） (2024-03-06T02:23:32Z)
• DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
  Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
  論文  参考訳（メタデータ） (2024-03-01T05:28:06Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
  最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。 我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
  論文  参考訳（メタデータ） (2023-11-16T16:09:44Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)
• Confidence-Building Measures for Artificial Intelligence: Workshop Proceedings [3.090253451409658]
  財団のモデルは最終的に州の安全を損なうためのいくつかの経路を導入するかもしれない。 The Confidence-Building Measures for Artificial Intelligenceワークショップは、リスクを軽減するためのツールと戦略を検討するために、マルチステークホルダグループをまとめました。 CBMの柔軟性は、基礎モデルランドスケープの急速な変化をナビゲートするための重要な手段となる。
  論文  参考訳（メタデータ） (2023-08-01T22:20:11Z)
• The Role of Large Language Models in the Recognition of Territorial Sovereignty: An Analysis of the Construction of Legitimacy [67.44950222243865]
  Google MapsやLarge Language Models (LLM)のような技術ツールは、しばしば公平で客観的であると見なされる。 我々は、クリミア、ウェストバンク、トランスニトリアの3つの論争領域の事例を、ウィキペディアの情報と国連の決議に対するChatGPTの反応を比較して強調する。
  論文  参考訳（メタデータ） (2023-03-17T08:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。