論文の概要: Human vs. Machine: Behavioral Differences Between Expert Humans and Language Models in Wargame Simulations

• arxiv url: http://arxiv.org/abs/2403.03407v2
• Date: Mon, 3 Jun 2024 15:00:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 16:08:41.873143
• Title: Human vs. Machine: Behavioral Differences Between Expert Humans and Language Models in Wargame Simulations
• Title（参考訳）: 人間対機械:ウォーゲームシミュレーションにおける専門家人間と言語モデル間の行動的差異
• Authors: Max Lamparth, Anthony Corso, Jacob Ganz, Oriana Skylar Mastro, Jacquelyn Schneider, Harold Trinkunas,
• Abstract要約: 大規模言語モデル(LLM)は、高い軍事的意思決定シナリオにおいて、人間と異なる振る舞いを示す。 当社の結果は、自律性を認める前に政策立案者が慎重であること、あるいはAIベースの戦略レコメンデーションに従うことを動機付けています。
• 参考スコア（独自算出の注目度）: 1.6108153271585284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To some, the advent of artificial intelligence (AI) promises better decision-making and increased military effectiveness while reducing the influence of human error and emotions. However, there is still debate about how AI systems, especially large language models (LLMs), behave compared to humans in high-stakes military decision-making scenarios with the potential for increased risks towards escalation and unnecessary conflicts. To test this potential and scrutinize the use of LLMs for such purposes, we use a new wargame experiment with 107 national security experts designed to look at crisis escalation in a fictional US-China scenario and compare human players to LLM-simulated responses in separate simulations. Wargames have a long history in the development of military strategy and the response of nations to threats or attacks. Here, we show a considerable high-level agreement in the LLM and human responses and significant quantitative and qualitative differences in individual actions and strategic tendencies. These differences depend on intrinsic biases in LLMs regarding the appropriate level of violence following strategic instructions, the choice of LLM, and whether the LLMs are tasked to decide for a team of players directly or first to simulate dialog between players. When simulating the dialog, the discussions lack quality and maintain a farcical harmony. The LLM simulations cannot account for human player characteristics, showing no significant difference even for extreme traits, such as "pacifist" or "aggressive sociopath". Our results motivate policymakers to be cautious before granting autonomy or following AI-based strategy recommendations.
• Abstract（参考訳）: 人工知能(AI)の出現は、人間の誤りや感情の影響を減らしながら、より良い意思決定と軍事的効果を約束する者もいる。 しかし、AIシステム、特に大規模言語モデル(LLMs)は、エスカレーションや不要な紛争に対するリスクの増加の可能性を秘めている軍事的意思決定シナリオにおいて、人間に比較してどのように振る舞うかについては、依然として議論がある。 この可能性を検証し, LLMの使用を精査するために, 架空の米中シナリオにおける危機エスカレーションを考慮し, 個別のシミュレーションで人間プレイヤーとLLMシミュレーション応答を比較した, 107人の国家安全保障専門家による新たなウォーゲーム実験を行った。 戦争は軍事戦略の発展と国家の脅威や攻撃に対する対応において長い歴史を持っている。 ここでは, LLMとヒトの反応における高いレベルの合意と, 個々の行動と戦略傾向の有意な定量的, 質的な差異を示す。 これらの違いは、戦略的な指示による暴力の適切なレベル、LSMの選択、LSMがプレイヤーのチームを直接決定するか、最初にプレイヤー間の対話をシミュレートするかといった、LSMの固有のバイアスに依存する。 ダイアログをシミュレートする場合、議論は品質を欠き、極端に調和を維持します。 LLMシミュレーションは「平和主義者」や「攻撃的な社会パス」のような極端な特徴でさえ有意な違いを示さず、人間のプレイヤーの特徴を説明できない。 当社の結果は、自律性を認める前に政策立案者が慎重であること、あるいはAIベースの戦略レコメンデーションに従うことを動機付けています。

関連論文リスト

• Can Machines Think Like Humans? A Behavioral Evaluation of LLM-Agents in Dictator Games [7.504095239018173]
  LLM(Large Language Model)ベースのエージェントは、現実のタスクを担い、人間の社会と関わるようになっている。 本研究では,これらのAIエージェントの利他的行動に異なるペルソナと実験的フレーミングがどのような影響を及ぼすかを検討する。 これらのAIエージェントは、人為的なデータに基づいて訓練されているにもかかわらず、人間の決定を正確に予測することはできない。
  論文  参考訳（メタデータ） (2024-10-28T17:47:41Z)
• Take Caution in Using LLMs as Human Surrogates: Scylla Ex Machina [7.155982875107922]
  研究は、大規模言語モデル(LLM)が、経済実験、調査、政治談話において、人間の行動と整合した人間的な推論を示す可能性があることを示唆している。 このことから、LLMは社会科学研究において人間の代理やシミュレーションとして使用できると多くの人が提案している。 11～20のマネーリクエストゲームを用いてLCMの推論深度を評価する。
  論文  参考訳（メタデータ） (2024-10-25T14:46:07Z)
• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Who is Undercover? Guiding LLMs to Explore Multi-Perspective Team Tactic in the Game [3.8284679578037246]
  We use the language logic game Who is Undercover?' as a experimental platform to propose the Multi-Perspective Team Tactic (MPTT) framework。 MPTTは、LLMの人間的な言語表現ロジック、多次元思考、複雑なシナリオにおける自己認識の育成を目的としている。 予備的な結果は、MPTTとWIUが組み合わさって、LLMの認知能力を活用して、現実社会をシミュレートできる意思決定フレームワークを作成することを示している。
  論文  参考訳（メタデータ） (2024-10-20T06:41:31Z)
• Measuring Free-Form Decision-Making Inconsistency of Language Models in Military Crisis Simulations [12.887834116390358]
  BERTScoreに基づくメトリクスを用いて、応答の不整合を定量的に測定する。 その結果,5つのLMは意味的差異を示す不整合のレベルを示すことがわかった。 我々は、軍事的決定を通知するためにLMを使用する前に、さらなる検討を行うことを推奨する。
  論文  参考訳（メタデータ） (2024-10-17T04:12:17Z)
• Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
  インタラクションの文脈的特徴が依存に与える影響について検討する。 文脈特性が人間の信頼行動に大きく影響していることが判明した。 これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:00:05Z)
• Nicer Than Humans: How do Large Language Models Behave in the Prisoner's Dilemma? [0.1474723404975345]
  複数レベルの敵意を示すランダムな敵に対する反復的囚人ジレンマの演奏におけるLlama2の協調行動について検討した。 Llama2は欠陥を起こさない傾向にあるが、協調に慎重なアプローチを採用する。 ヒトの参加者に関する以前の研究と比較すると、Llama2は協調行動に対するより強い傾きを示す。
  論文  参考訳（メタデータ） (2024-06-19T14:51:14Z)
• ALYMPICS: LLM Agents Meet Game Theory -- Exploring Strategic Decision-Making with AI Agents [77.34720446306419]
  Alympicsは、ゲーム理論の研究にLarge Language Model (LLM)エージェントを利用する、体系的なシミュレーションフレームワークである。 Alympicsは、複雑なゲーム理論の問題を研究するための汎用的なプラットフォームを作成する。
  論文  参考訳（メタデータ） (2023-11-06T16:03:46Z)
• Leveraging Word Guessing Games to Assess the Intelligence of Large Language Models [105.39236338147715]
  この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。 本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。 次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
  論文  参考訳（メタデータ） (2023-10-31T14:37:42Z)
• Cooperation, Competition, and Maliciousness: LLM-Stakeholders Interactive Negotiation [52.930183136111864]
  我々は,大言語モデル(LLM)を評価するためにスコーラブルネゴシエーション(scorable negotiations)を提案する。 合意に達するには、エージェントは強力な算術、推論、探索、計画能力を持つ必要がある。 我々は、新しいゲームを作成し、進化するベンチマークを持つことの難しさを増大させる手順を提供する。
  論文  参考訳（メタデータ） (2023-09-29T13:33:06Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。