論文の概要: Do LLMs Strategically Reveal, Conceal, and Infer Information? A Theoretical and Empirical Analysis in The Chameleon Game
- arxiv url: http://arxiv.org/abs/2501.19398v2
- Date: Mon, 20 Oct 2025 17:34:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:03.427333
- Title: Do LLMs Strategically Reveal, Conceal, and Infer Information? A Theoretical and Empirical Analysis in The Chameleon Game
- Title(参考訳): LLMはストラテジカルに情報を公開したか? -Chameleonゲームにおける理論的および実証的分析-
- Authors: Mustafa O. Karabag, Jan Sobotka, Ufuk Topcu,
- Abstract要約: 大規模言語モデルベース(LLM)エージェントは,言語に基づく隠れアイデンティティゲームであるThe Chameleonをプレイする。
このゲームでは、互いに知らない非カメレオンエージェントのグループは、秘密を明かさずにカメレオンエージェントを識別することを目的としている。
非カメレオン LLM エージェントはカメレオンを識別するが、カメレオンから秘密を隠すことができず、その勝利確率は、さらに簡単な戦略のレベルから遠く離れている。
- 参考スコア(独自算出の注目度): 22.817330994735254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model-based (LLM-based) agents have become common in settings that include non-cooperative parties. In such settings, agents' decision-making needs to conceal information from their adversaries, reveal information to their cooperators, and infer information to identify the other agents' characteristics. To investigate whether LLMs have these information control and decision-making capabilities, we make LLM agents play the language-based hidden-identity game, The Chameleon. In this game, a group of non-chameleon agents who do not know each other aim to identify the chameleon agent without revealing a secret. The game requires the aforementioned information control capabilities both as a chameleon and a non-chameleon. We begin with a theoretical analysis for a spectrum of strategies, from concealing to revealing, and provide bounds on the non-chameleons' winning probability. The empirical results with GPT, Gemini 2.5 Pro, Llama 3.1, and Qwen3 models show that while non-chameleon LLM agents identify the chameleon, they fail to conceal the secret from the chameleon, and their winning probability is far from the levels of even trivial strategies. Based on these empirical results and our theoretical analysis, we deduce that LLM-based agents may reveal excessive information to agents of unknown identities. Interestingly, we find that, when instructed to adopt an information-revealing level, this level is linearly encoded in the LLM's internal representations. While the instructions alone are often ineffective at making non-chameleon LLMs conceal, we show that steering the internal representations in this linear direction directly can reliably induce concealing behavior.
- Abstract(参考訳): 大規模言語モデルベース(LLMベース)エージェントは、非協力者を含む設定で一般的になっている。
このような設定では、エージェントの意思決定は、相手からの情報を隠蔽し、同僚に情報を公開し、他のエージェントの特徴を特定するために情報を推論する必要がある。
LLMにこれらの情報制御と意思決定能力があるかどうかを調べるため、LLMエージェントは言語ベースの隠れアイデンティティゲーム『The Chameleon』をプレイする。
このゲームでは、互いに知らない非カメレオンエージェントのグループは、秘密を明かさずにカメレオンエージェントを識別することを目的としている。
このゲームでは、前述の情報制御能力がカメレオンとノンカメレオンの両方を必要とする。
我々はまず、隠蔽から露光までの戦略のスペクトルに関する理論的分析から始まり、非カメレオンの勝利確率に限界を与える。
GPT, Gemini 2.5 Pro, Llama 3.1, Qwen3 モデルによる実験結果から、非カメレオン LLM エージェントはカメレオンを識別するが、カメレオンから秘密を隠すことはできず、その勝利確率はより簡単な戦略のレベルから遠く離れていることがわかる。
これらの経験的結果と理論的解析から,LSMをベースとしたエージェントが未知のエージェントに過剰な情報を明らかにする可能性が示唆された。
興味深いことに、情報発見レベルを採用するように指示されると、このレベルはLLMの内部表現に線形に符号化される。
命令だけでは非カメレオンLSMを隠蔽することができないことが多いが、この線形方向に内部表現を直接操ることで、隠蔽動作を確実に誘導できることが示される。
関連論文リスト
- Sword and Shield: Uses and Strategies of LLMs in Navigating Disinformation [9.761926423405617]
大型言語モデル (LLM) は、高度で説得力のある偽情報を生成するために兵器化することができるが、検出と緩和戦略の強化も約束している。
本稿では,25人の参加者によるWerewolfゲームに触発された,オンラインフォーラムを模擬するコミュニケーションゲームを通じて,LLMと偽情報の複雑なダイナミクスについて検討する。
本研究は, 参加者の役割や戦略によって, LLMの多彩な利用が強調され, この文脈での有効性を理解することの重要性が強調された。
論文 参考訳(メタデータ) (2025-06-08T16:24:11Z) - The Illusionist's Prompt: Exposing the Factual Vulnerabilities of Large Language Models with Linguistic Nuances [23.908718176644634]
大規模言語モデル(LLM)は、専門家でないユーザによるリアルタイム情報ソースとしてますます頼りになってきている。
The Illusionist's Promptは,言語的ニュアンスを敵対的クエリに組み込んだ,新たな幻覚攻撃である。
我々の攻撃は、ユーザーの意図や意味を保ちながら、内部の事実的誤りを誘発する高度に伝達可能なイラストルプロンプトを自動生成する。
論文 参考訳(メタデータ) (2025-04-01T07:10:00Z) - Understanding the Dark Side of LLMs' Intrinsic Self-Correction [55.51468462722138]
LLMの応答を改善するために,本質的な自己補正法が提案された。
近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。
内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
論文 参考訳(メタデータ) (2024-12-19T15:39:31Z) - Evaluating and Enhancing LLMs Agent based on Theory of Mind in Guandan: A Multi-Player Cooperative Game under Imperfect Information [36.11862095329315]
大規模言語モデル(LLM)は、不完全な情報で単純なゲームを扱うことに成功している。
本研究では,オープンソースのLLMとAPIベースのLLMが獲得した知識を,洗練されたテキストベースのゲームに適用する可能性について検討する。
論文 参考訳(メタデータ) (2024-08-05T15:36:46Z) - CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。
分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。
本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文 参考訳(メタデータ) (2024-05-20T14:34:01Z) - Deception in Reinforced Autonomous Agents [30.510998478048723]
大型言語モデル(LLM)をベースとしたエージェントが微妙な騙しを行う能力について検討する。
この行動は、ブラタントな嘘や意図しない幻覚とは異なり、検出が難しい。
2つのLDMが対立する役割を担っている立法環境を模倣した敵対的テストベッドを構築した。
論文 参考訳(メタデータ) (2024-05-07T13:55:11Z) - Can Large Language Model Agents Simulate Human Trust Behavior? [81.45930976132203]
本研究では,Large Language Model (LLM) エージェントが人間の信頼行動をシミュレートできるかどうかを検討する。
GPT-4は、信頼行動の観点から、人間と高い行動アライメントを示す。
また、エージェント信頼のバイアスや、他のLSMエージェントや人間に対するエージェント信頼の差についても検討する。
論文 参考訳(メタデータ) (2024-02-07T03:37:19Z) - ALYMPICS: LLM Agents Meet Game Theory -- Exploring Strategic
Decision-Making with AI Agents [77.34720446306419]
Alympicsは、ゲーム理論の研究にLarge Language Model (LLM)エージェントを利用する、体系的なシミュレーションフレームワークである。
Alympicsは、複雑なゲーム理論の問題を研究するための汎用的なプラットフォームを作成する。
論文 参考訳(メタデータ) (2023-11-06T16:03:46Z) - Leveraging Word Guessing Games to Assess the Intelligence of Large
Language Models [105.39236338147715]
この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。
本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。
次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
論文 参考訳(メタデータ) (2023-10-31T14:37:42Z) - LLM-Based Agent Society Investigation: Collaboration and Confrontation in Avalon Gameplay [55.12945794835791]
Avalon をテストベッドとして使用し,システムプロンプトを用いてゲームプレイにおける LLM エージェントの誘導を行う。
本稿では,Avalonに適した新しいフレームワークを提案し,効率的なコミュニケーションと対話を容易にするマルチエージェントシステムを提案する。
その結果、適応エージェントの作成におけるフレームワークの有効性を確認し、動的社会的相互作用をナビゲートするLLMベースのエージェントの可能性を提案する。
論文 参考訳(メタデータ) (2023-10-23T14:35:26Z) - Deception Abilities Emerged in Large Language Models [0.0]
大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を備えた人工知能(AI)システムの最前線にある。
本研究は, GPT-4 などの最先端 LLM にそのような戦略が出現したが, 初期の LLM には存在しなかったことを明らかにする。
我々は、最先端のLLMが他のエージェントの誤った信念を理解し、誘導できることを示す一連の実験を行う。
論文 参考訳(メタデータ) (2023-07-31T09:27:01Z) - Chameleon: Plug-and-Play Compositional Reasoning with Large Language
Models [187.58051653991686]
大規模言語モデル(LLM)は、様々な自然言語処理タスクの解決において顕著な進歩を遂げている。
しかし、最新の情報にアクセスできないため、固有の制限がある。
本稿では,LLMを合成推論のためのプラグアンドプレイモジュールで拡張するAIシステムChameleonを紹介する。
論文 参考訳(メタデータ) (2023-04-19T17:47:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。