論文の概要: Intentional Deception as Controllable Capability in LLM Agents

• arxiv url: http://arxiv.org/abs/2603.07848v1
• Date: Sun, 08 Mar 2026 23:48:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.321662
• Title: Intentional Deception as Controllable Capability in LLM Agents
• Title（参考訳）: LLM剤の制御可能な機能としての意図的誤認
• Authors: Jason Starace, Terence Soule,
• Abstract要約: 本稿では,マルチエージェントシステムにおいて,意図的騙しを工学的能力として体系的に研究する。 本研究では,ターゲットエージェントの特徴を推定し,その信念や動機に反する行動に対して,意図的反応を操る2段階のシステムについて検討する。 認知的介入は、一様分布ではなく、特定の行動プロファイルに集中する差分効果を生じさせる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As LLM-based agents increasingly operate in multi-agent systems, understanding adversarial manipulation becomes critical for defensive design. We present a systematic study of intentional deception as an engineered capability, using LLM-to-LLM interactions within a text-based RPG where parameterized behavioral profiles (9 alignments x 4 motivations, yielding 36 profiles with explicit ethical ground truth) serve as our experimental testbed. Unlike accidental deception from misalignment, we investigate a two-stage system that infers target agent characteristics and generates deceptive responses steering targets toward actions counter to their beliefs and motivations. We find that deceptive intervention produces differential effects concentrated in specific behavioral profiles rather than distributed uniformly, and that 88.5% of successful deceptions employ misdirection (true statements with strategic framing) rather than fabrication, indicating fact-checking defenses would miss the large majority of adversarial responses. Motivation, inferable at 98%+ accuracy, serves as the primary attack vector, while belief systems remain harder to identify (49% inference ceiling) or exploit. These findings identify which agent profiles require additional safeguards and suggest that current fact-verification approaches are insufficient against strategically framed deception.
• Abstract（参考訳）: LLMをベースとしたエージェントが多エージェントシステムでますます運用されるにつれて、敵の操作を理解することは防御設計にとって重要となる。 テキストベースRPGにおけるLLM-to-LLMインタラクションを用いて、意図的騙しを工学的能力として体系的に研究し、パラメータ化された行動プロファイル(x4のモチベーションを9つアライメントし、36のプロファイルを明示的な倫理的根拠の真理で生成する)がテストベッドとして機能することを示した。 誤認識の誤認とは違って、ターゲットエージェントの特徴を推定し、その信念や動機に反する行動に対して、目標を操る偽装応答を生成する2段階のシステムについて検討する。 詐欺的介入は、一様分布ではなく、特定の行動プロファイルに集中した差分効果を生じさせ、88.5%の成功は、偽造ではなく、誤った方向(真の戦略的フレーミングを伴う声明)を用いており、事実チェックの防御が敵の反応の大部分を見逃すことを示唆している。 モチベーションは98%以上の精度で推測可能であり、主要な攻撃ベクトルとして機能する一方、信念システムでは(49%の推論天井)特定や悪用が困難である。 これらの結果から,どのエージェントプロファイルが追加の保護を必要とするかが明らかとなり,現在の事実検証アプローチは戦略的枠組みによる詐欺に対して不十分であることが示唆された。

関連論文リスト

• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Can an Individual Manipulate the Collective Decisions of Multi-Agents? [53.01767232004823]
  M-Spoilerは、マルチエージェントシステム内のエージェントインタラクションをシミュレートして、対向サンプルを生成するフレームワークである。 M-スポイラーは、敵対的サンプルの最適化を積極的に支援するスタブボーン剤を導入した。 本研究は,マルチエージェントシステムにおける個々のエージェントの知識によって引き起こされるリスクを検証した。
  論文  参考訳（メタデータ） (2025-09-20T01:54:20Z)
• AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents [0.0]
  大規模言語モデル (LLM) エージェントはより広く普及し、関連するミスアライメントリスクが増加する。 本研究では,モデルが追求する内部目標と,デプロイ者の意図する目標との相反として,不整合にアプローチする。 現実的なシナリオにおいて,LLMエージェントの適合性を評価するためのベンチマークスイートであるtextscAgentMisalignmentを導入する。
  論文  参考訳（メタデータ） (2025-06-04T14:46:47Z)
• Defending the Edge: Representative-Attention for Mitigating Backdoor Attacks in Federated Learning [7.808916974942399]
  不均一エッジデバイスは、多種多様で非独立で、同一に分散された(非IID)データを生成する。 本稿では, 悪意のあるクライアントと良識を区別するための, FeRA という, 表現力に基づく防衛機構を提案する。 本評価では,エッジデバイスに典型的な非IIDデータ分散に挑戦するなど,さまざまなFLシナリオにおけるFeRAの堅牢性を示す。
  論文  参考訳（メタデータ） (2025-05-15T13:44:32Z)
• Preemptive Detection and Correction of Misaligned Actions in LLM Agents [58.39520480675366]
  InferActは、実行前に不整合アクションを検出する新しいアプローチである。 タイムリーな修正をユーザーに警告し、有害な結果を防ぐ。 InferActは、ミスアライメントされたアクション検出におけるベースラインに対するMarco-F1の最大20%の改善を実現している。
  論文  参考訳（メタデータ） (2024-07-16T15:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。