論文の概要: Escalation Risks from Language Models in Military and Diplomatic
Decision-Making
- arxiv url: http://arxiv.org/abs/2401.03408v1
- Date: Sun, 7 Jan 2024 07:59:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 19:02:33.422323
- Title: Escalation Risks from Language Models in Military and Diplomatic
Decision-Making
- Title(参考訳): 軍事的・外交的意思決定における言語モデルからのエスカレーションリスク
- Authors: Juan-Pablo Rivera, Gabriel Mukobi, Anka Reuel, Max Lamparth, Chandler
Smith, Jacquelyn Schneider
- Abstract要約: この研究は、シミュレーションされたウォーゲームにおいて、複数のAIエージェントの振る舞いを精査することを目的としている。
我々は,これらのエージェントによる行動のエスカレーションのリスクを評価するために,新たなウォーゲームシミュレーションとスコアリングフレームワークを設計する。
我々は、モデルが兵器追跡力学を発達させ、より大きな紛争、そして稀に核兵器の配備に至る傾向があることを観察する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Governments are increasingly considering integrating autonomous AI agents in
high-stakes military and foreign-policy decision-making, especially with the
emergence of advanced generative AI models like GPT-4. Our work aims to
scrutinize the behavior of multiple AI agents in simulated wargames,
specifically focusing on their predilection to take escalatory actions that may
exacerbate multilateral conflicts. Drawing on political science and
international relations literature about escalation dynamics, we design a novel
wargame simulation and scoring framework to assess the escalation risks of
actions taken by these agents in different scenarios. Contrary to prior
studies, our research provides both qualitative and quantitative insights and
focuses on large language models (LLMs). We find that all five studied
off-the-shelf LLMs show forms of escalation and difficult-to-predict escalation
patterns. We observe that models tend to develop arms-race dynamics, leading to
greater conflict, and in rare cases, even to the deployment of nuclear weapons.
Qualitatively, we also collect the models' reported reasonings for chosen
actions and observe worrying justifications based on deterrence and
first-strike tactics. Given the high stakes of military and foreign-policy
contexts, we recommend further examination and cautious consideration before
deploying autonomous language model agents for strategic military or diplomatic
decision-making.
- Abstract(参考訳): 政府は、特にGPT-4のような先進的なジェネレーティブAIモデルの出現に伴い、軍事的および外国の意思決定に自律的なAIエージェントを統合することを検討している。
私たちの研究は、シミュレートされた戦争ゲームにおける複数のaiエージェントの振る舞いを精査することを目的としています。
政治科学と国際関係のエスカレーションダイナミクスに関する文献を参考に,これらのエージェントによるエスカレーションリスクを異なるシナリオで評価するための,新たなウォーゲームシミュレーションとスコアリングフレームワークを設計する。
従来の研究とは対照的に,我々の研究は質的および定量的な洞察と,大規模言語モデル(LLM)に焦点を当てている。
調査対象のLLMは,いずれもエスカレーションと予測困難なエスカレーションパターンを示す。
我々は、モデルが武器競争のダイナミクスを発達させ、より大きな衝突を引き起こし、稀に核兵器の配備に繋がる傾向があることを観察する。
定性的には,モデルが選択した行動について報告した推論を収集し,抑止行動と第一ストライク戦術に基づく不安の正当化を観察する。
軍事的・外政的な文脈の重大さを踏まえ、戦略的軍事的・外交的意思決定のために自律言語モデルエージェントを配備する前に、さらなる検討と慎重な検討を推奨する。
関連論文リスト
- Particip-AI: A Democratic Surveying Framework for Anticipating Future AI Use Cases, Harms and Benefits [54.648819983899614]
Particip-AIは、現在および将来のAIユースケースと、非専門家から損害と利益を収集するフレームワークである。
人口統計学的に多様な参加者295名から回答を得た。
論文 参考訳(メタデータ) (2024-03-21T19:12:37Z) - Human vs. Machine: Language Models and Wargames [1.7068454058822347]
我々は107人の国家安全保障の専門家によるウォーゲーム実験を使用して、架空の米国と中国のシナリオにおける危機エスカレーションを調査します。
LLMと人間の反応には相当な一致があるが,戦時ゲームにおけるシミュレーションゲームと人間プレイヤーの定量的,質的な差異も有意である。
論文 参考訳(メタデータ) (2024-03-06T02:23:32Z) - DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。
6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
論文 参考訳(メタデータ) (2024-03-01T05:28:06Z) - Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。
本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
論文 参考訳(メタデータ) (2024-02-28T16:09:56Z) - Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。
我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
論文 参考訳(メタデータ) (2023-11-16T16:09:44Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳(メタデータ) (2023-09-14T17:12:03Z) - Confidence-Building Measures for Artificial Intelligence: Workshop
Proceedings [3.090253451409658]
財団のモデルは最終的に州の安全を損なうためのいくつかの経路を導入するかもしれない。
The Confidence-Building Measures for Artificial Intelligenceワークショップは、リスクを軽減するためのツールと戦略を検討するために、マルチステークホルダグループをまとめました。
CBMの柔軟性は、基礎モデルランドスケープの急速な変化をナビゲートするための重要な手段となる。
論文 参考訳(メタデータ) (2023-08-01T22:20:11Z) - The Role of Large Language Models in the Recognition of Territorial
Sovereignty: An Analysis of the Construction of Legitimacy [67.44950222243865]
Google MapsやLarge Language Models (LLM)のような技術ツールは、しばしば公平で客観的であると見なされる。
我々は、クリミア、ウェストバンク、トランスニトリアの3つの論争領域の事例を、ウィキペディアの情報と国連の決議に対するChatGPTの反応を比較して強調する。
論文 参考訳(メタデータ) (2023-03-17T08:46:49Z) - Emerging AI Security Threats for Autonomous Cars -- Case Studies [0.0]
モデル抽出攻撃と、自律走行車に侵入する汎用型キルチェーンについて論じる。
モデル盗難のリスクを管理し軽減するための戦略を検討することが不可欠である。
論文 参考訳(メタデータ) (2021-09-10T13:22:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。