論文の概要: Do LLMs Strategically Reveal, Conceal, and Infer Information? A Theoretical and Empirical Analysis in The Chameleon Game

• arxiv url: http://arxiv.org/abs/2501.19398v1
• Date: Fri, 31 Jan 2025 18:53:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:02:34.237416
• Title: Do LLMs Strategically Reveal, Conceal, and Infer Information? A Theoretical and Empirical Analysis in The Chameleon Game
• Title（参考訳）: LLMはストラテジカルに情報を公開したか? -Chameleonゲームにおける理論的および実証的分析-
• Authors: Mustafa O. Karabag, Ufuk Topcu,
• Abstract要約: 大規模言語モデルベース(LLM)エージェントが情報制御と意思決定能力を持っているかを検討する。 我々は,非カメレオンLLMエージェントがカメレオンの秘密を隠蔽することができないことを示す。 GPT-4, GPT-4o, Gemini 1.5, Claude 3.5 Sonnetなど, 現代のLCMの弱点が指摘されている。
• 参考スコア（独自算出の注目度）: 23.86437796079295
• License:
• Abstract: Large language model-based (LLM-based) agents have become common in settings that include non-cooperative parties. In such settings, agents' decision-making needs to conceal information from their adversaries, reveal information to their cooperators, and infer information to identify the other agents' characteristics. To investigate whether LLMs have these information control and decision-making capabilities, we make LLM agents play the language-based hidden-identity game, The Chameleon. In the game, a group of non-chameleon agents who do not know each other aim to identify the chameleon agent without revealing a secret. The game requires the aforementioned information control capabilities both as a chameleon and a non-chameleon. The empirical results show that while non-chameleon LLM agents identify the chameleon, they fail to conceal the secret from the chameleon, and their winning probability is far from the levels of even trivial strategies. To formally explain this behavior, we give a theoretical analysis for a spectrum of strategies, from concealing to revealing, and provide bounds on the non-chameleons' winning probability. Based on the empirical results and theoretical analysis of different strategies, we deduce that LLM-based non-chameleon agents reveal excessive information to agents of unknown identities. Our results point to a weakness of contemporary LLMs, including GPT-4, GPT-4o, Gemini 1.5, and Claude 3.5 Sonnet, in strategic interactions.
• Abstract（参考訳）: 大規模言語モデルベース(LLMベース)エージェントは、非協力者を含む設定で一般的になっている。 このような設定では、エージェントの意思決定は、相手からの情報を隠蔽し、同僚に情報を公開し、他のエージェントの特徴を特定するために情報を推論する必要がある。 LLMにこれらの情報制御と意思決定能力があるかどうかを調べるため、LLMエージェントは言語ベースの隠れアイデンティティゲーム『The Chameleon』をプレイする。 ゲームでは、お互いを知らない非カメレオンエージェントのグループは、秘密を明かさずにカメレオンエージェントを識別することを目的としている。 このゲームでは、前述の情報制御能力がカメレオンとノンカメレオンの両方を必要とする。 実験の結果、非カメレオン LLM エージェントはカメレオンを識別するが、カメレオンから秘密を隠すことができず、その勝利確率は、たとえ自明な戦略のレベルから遠く離れていることが示された。 この振る舞いを正式に説明するために、隠れることから明らかにすることまで、戦略のスペクトルに関する理論的分析を行い、非カメレオンの勝利確率に限界を与える。 実験結果と異なる戦略の理論的解析に基づいて, LLMをベースとした非カメレオン剤が未知のアイデンティティを持つエージェントに過剰な情報を明らかにすることを推定した。 その結果,GPT-4,GPT-4o,Gemini 1.5,Claude 3.5 Sonnetなどの現代LLMの戦略的相互作用における弱点が示唆された。

関連論文リスト

• Understanding the Dark Side of LLMs' Intrinsic Self-Correction [55.51468462722138]
  LLMの応答を改善するために,本質的な自己補正法が提案された。 近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。 内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-12-19T15:39:31Z)
• Evaluating and Enhancing LLMs Agent based on Theory of Mind in Guandan: A Multi-Player Cooperative Game under Imperfect Information [36.11862095329315]
  大規模言語モデル(LLM)は、不完全な情報で単純なゲームを扱うことに成功している。 本研究では,オープンソースのLLMとAPIベースのLLMが獲得した知識を,洗練されたテキストベースのゲームに適用する可能性について検討する。
  論文  参考訳（メタデータ） (2024-08-05T15:36:46Z)
• DebUnc: Mitigating Hallucinations in Large Language Model Agent Communication with Uncertainty Estimations [52.242449026151846]
  DebUncは、不確実性メトリクスを使用してエージェントの信頼性レベルを評価するマルチエージェントの議論フレームワークである。 我々は、信頼度に基づいてトークン重量を調整するために注意機構を適用した。 評価の結果,注意に基づく手法は特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-08T22:15:01Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Deception in Reinforced Autonomous Agents [30.510998478048723]
  大型言語モデル(LLM)をベースとしたエージェントが微妙な騙しを行う能力について検討する。 この行動は、ブラタントな嘘や意図しない幻覚とは異なり、検出が難しい。 2つのLDMが対立する役割を担っている立法環境を模倣した敵対的テストベッドを構築した。
  論文  参考訳（メタデータ） (2024-05-07T13:55:11Z)
• TRAP: Targeted Random Adversarial Prompt Honeypot for Black-Box Identification [41.25887364156612]
  ブラックボックス認証(BBIV)の新たな指紋認証問題について述べる。 目標は、サードパーティアプリケーションがチャット機能を通じて特定のLLMを使用するかどうかを判断することである。 本稿では,TRAP (Targeted Random Adversarial Prompt) と呼ばれる,特定のLPMを識別する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T13:20:39Z)
• Leveraging Word Guessing Games to Assess the Intelligence of Large Language Models [105.39236338147715]
  この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。 本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。 次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
  論文  参考訳（メタデータ） (2023-10-31T14:37:42Z)
• LLM-Based Agent Society Investigation: Collaboration and Confrontation in Avalon Gameplay [55.12945794835791]
  Avalon をテストベッドとして使用し,システムプロンプトを用いてゲームプレイにおける LLM エージェントの誘導を行う。 本稿では,Avalonに適した新しいフレームワークを提案し,効率的なコミュニケーションと対話を容易にするマルチエージェントシステムを提案する。 その結果、適応エージェントの作成におけるフレームワークの有効性を確認し、動的社会的相互作用をナビゲートするLLMベースのエージェントの可能性を提案する。
  論文  参考訳（メタデータ） (2023-10-23T14:35:26Z)
• Deception Abilities Emerged in Large Language Models [0.0]
  大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を備えた人工知能(AI)システムの最前線にある。 本研究は, GPT-4 などの最先端 LLM にそのような戦略が出現したが, 初期の LLM には存在しなかったことを明らかにする。 我々は、最先端のLLMが他のエージェントの誤った信念を理解し、誘導できることを示す一連の実験を行う。
  論文  参考訳（メタデータ） (2023-07-31T09:27:01Z)
• Chameleon: Plug-and-Play Compositional Reasoning with Large Language Models [187.58051653991686]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクの解決において顕著な進歩を遂げている。 しかし、最新の情報にアクセスできないため、固有の制限がある。 本稿では,LLMを合成推論のためのプラグアンドプレイモジュールで拡張するAIシステムChameleonを紹介する。
  論文  参考訳（メタデータ） (2023-04-19T17:47:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。