論文の概要: CONSCIENTIA: Can LLM Agents Learn to Strategize? Emergent Deception and Trust in a Multi-Agent NYC Simulation

• arxiv url: http://arxiv.org/abs/2604.09746v1
• Date: Fri, 10 Apr 2026 06:33:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.650595
• Title: CONSCIENTIA: Can LLM Agents Learn to Strategize? Emergent Deception and Trust in a Multi-Agent NYC Simulation
• Title（参考訳）: CONSCIENTIA: LLMエージェントは戦略的に学習できるか? マルチエージェントNYCシミュレーションにおける創発的詐欺と信頼
• Abstract要約: ニューヨーク市の簡易モデルに大規模なマルチエージェントシミュレーションを導入する。 ブルーエージェントは目的地に効率的に到達することを目指しており、レッドエージェントはビルボード重のルートに分岐しようと試みている。 隠れたアイデンティティは、ナビゲーションを社会的に介在させ、エージェントにいつ信用するか、あるいは欺くかを判断させる。
• 参考スコア（独自算出の注目度）: 15.334072037636881
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are increasingly deployed as autonomous agents, understanding how strategic behavior emerges in multi-agent environments has become an important alignment challenge. We take a neutral empirical stance and construct a controlled environment in which strategic behavior can be directly observed and measured. We introduce a large-scale multi-agent simulation in a simplified model of New York City, where LLM-driven agents interact under opposing incentives. Blue agents aim to reach their destinations efficiently, while Red agents attempt to divert them toward billboard-heavy routes using persuasive language to maximize advertising revenue. Hidden identities make navigation socially mediated, forcing agents to decide when to trust or deceive. We study policy learning through an iterative simulation pipeline that updates agent policies across repeated interaction rounds using Kahneman-Tversky Optimization (KTO). Blue agents are optimized to reduce billboard exposure while preserving navigation efficiency, whereas Red agents adapt to exploit remaining weaknesses. Across iterations, the best Blue policy improves task success from 46.0% to 57.3%, although susceptibility remains high at 70.7%. Later policies exhibit stronger selective cooperation while preserving trajectory efficiency. However, a persistent safety-helpfulness trade-off remains: policies that better resist adversarial steering do not simultaneously maximize task completion. Overall, our results show that LLM agents can exhibit limited strategic behavior, including selective trust and deception, while remaining highly vulnerable to adversarial persuasion.
• Abstract（参考訳）: 大規模言語モデル(LLM)が自律エージェントとしてますますデプロイされるにつれて、マルチエージェント環境での戦略的行動がどのように出現するかを理解することが重要なアライメント課題となっている。 我々は中立的な経験的姿勢をとり、戦略的行動を直接観察し測定できる制御された環境を構築する。 LLMを駆動するエージェントが反対のインセンティブの下で相互作用する、ニューヨーク市の簡易モデルにおいて、大規模なマルチエージェントシミュレーションを導入する。 ブルーエージェントは目的地に効率的に到達することを目指しており、レッドエージェントは広告収入を最大化するために説得力のある言語を使って、看板を多用するルートに分岐させようとしている。 隠れたアイデンティティは、ナビゲーションを社会的に介在させ、エージェントにいつ信用するか、あるいは欺くかを判断させる。 我々は,KTO (Kahneman-Tversky Optimization) を用いて,反復的シミュレーションパイプラインによるポリシー学習について検討した。 青色のエージェントはナビゲーション効率を保ちながら看板の露出を減らすように最適化されており、赤色のエージェントは残った弱点を利用するように適応している。 イテレーションを通じて、最高のブルーポリシーはタスクの成功率を46.0%から57.3%に改善するが、感受性は70.7%である。 後の政策は、軌道効率を維持しながらより強い選択的な協調を示す。 敵の操舵に抵抗する政策は同時にタスク完了を最大化しない。 以上の結果より, LLM エージェントは選択的信頼や騙しなど, 限られた戦略行動を示しつつも, 敵対的説得に対して脆弱であることが明らかとなった。

関連論文リスト

• Stateful Cooperative Agents Safeguarding LLMs Against Evolving Multi-Turn Attacks [56.45762972211923]
  マルチターン攻撃に対するLDMの安全性を確保するためのプロアクティブ・ディフェンス・フレームワークを提案する。 特殊なエージェントが補完的な防衛戦略を実行するような、協調的なマルチエージェントアーキテクチャを採用している。 マルチターン攻撃における進化戦略をシミュレートするEMRAデータセットを提案する。
  論文  参考訳（メタデータ） (2026-07-31T14:04:49Z)
• Learning Agent-Compatible Context Management for Long-Horizon Tasks [79.09330817637205]
  フリーズエージェントのコンテキストを管理するために外部LLMをトレーニングするAdaptive Context Management (AdaCoM)を導入する。 AdaCoMは、静的なコンテンツをプルーニングしながらタスク制約と進捗を保ち、パフォーマンスを大幅に改善する。 学習した戦略は、忠実度-信頼性のトレードオフを明らかにしている: よりバニラリアクトなパフォーマンスを持つエージェントは、高忠実度コンテキストの保存から恩恵を受ける一方、低いパフォーマンスのエージェントは、信頼できる推論体制内に留まるためにより攻撃的な圧縮を必要とする。
  論文  参考訳（メタデータ） (2026-05-29T03:21:08Z)
• Defending LLM-based Multi-Agent Systems Against Cooperative Attacks with Sentence-Level Rectification [42.88763759237844]
  大規模言語モデルに基づくマルチエージェントシステム(MAS)の悪意のあるエージェントは、誤情報を注入して他のエージェントを誤解させ、システム性能を損なう可能性がある。 本稿では,攻撃戦略を自律的に調整し,動的に調整する適応型協調攻撃フレームワークを提案する。 本稿では,エージェント通信における文レベルでのミスリード情報を識別・修正する防衛フレームワークであるSentence-Level Trustworthiness Analysis and Rectification(STAR)を紹介する。
  論文  参考訳（メタデータ） (2026-05-27T07:56:33Z)
• Policy Disruption in Reinforcement Learning:Adversarial Attack with Large Language Models and Critical State Identification [8.292056374554162]
  強化学習(Reinforcement Learning, RL)は、ロボット工学や自律運転などの分野で大きな成功を収めている。 既存のアプローチはしばしば環境やポリシーの変更に依存し、実用性を制限する。 本稿では,環境の変化を伴わずにターゲットポリシーを誘導し,準最適動作を出力する敵攻撃手法を提案する。
  論文  参考訳（メタデータ） (2025-07-24T05:52:06Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• EmoDebt: Bayesian-Optimized Emotional Intelligence for Strategic Agent-to-Agent Debt Recovery [65.30120701878582]
  大規模言語モデル(LLM)エージェントは、負債収集のような感情に敏感なドメインの悪用に対して脆弱である。 EmoDebtは、ネゴシエーションにおける感情を表現するモデルの能力を、シーケンシャルな意思決定問題として再設計する感情インテリジェンスエンジンである。 EmoDebtは重要な戦略的堅牢性を実現し、非適応性と感情に依存しないベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-03-27T01:41:34Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Evil Geniuses: Delving into the Safety of LLM-based Agents [35.49857256840015]
  大言語モデル(LLM)は、大言語モデル(LLM)で再活性化されている。 本稿では, LLMをベースとしたエージェントの安全性について, エージェント量, 役割定義, 攻撃レベルという3つの観点から検討する。
  論文  参考訳（メタデータ） (2023-11-20T15:50:09Z)
• Toward Evaluating Robustness of Reinforcement Learning with Adversarial Policy [32.1138935956272]
  強化学習エージェントは、デプロイ中に回避攻撃を受けやすい。 本稿では,効率的なブラックボックス対応政策学習のための本質的なモチベーション付き適応政策(IMAP)を提案する。
  論文  参考訳（メタデータ） (2023-05-04T07:24:12Z)
• Influencing Towards Stable Multi-Agent Interactions [12.477674452685756]
  多エージェント環境での学習は、相手やパートナーの行動の変化によってもたらされる非定常性のために困難である。 本稿では,他のエージェントの安定化戦略に積極的に影響を与えるアルゴリズムを提案する。 各種シミュレーション環境におけるタスク報酬の最大化における安定化の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-05T16:46:04Z)
• Robust Reinforcement Learning on State Observations with Learned Optimal Adversary [86.0846119254031]
  逆摂動状態観測による強化学習の堅牢性について検討した。 固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
  論文  参考訳（メタデータ） (2021-01-21T05:38:52Z)
• Towards Learning Multi-agent Negotiations via Self-Play [2.28438857884398]
  自己再生の反復的な手順が、徐々に多様な環境を創り出す方法を示す。 これは高度で堅牢なマルチエージェントポリシーの学習につながります。 合併操作の成功率は63%から98%に劇的に改善した。
  論文  参考訳（メタデータ） (2020-01-28T08:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。