論文の概要: Among Us: A Sandbox for Measuring and Detecting Agentic Deception

• arxiv url: http://arxiv.org/abs/2504.04072v2
• Date: Fri, 16 May 2025 10:14:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:12.676675
• Title: Among Us: A Sandbox for Measuring and Detecting Agentic Deception
• Title（参考訳）: エージェントの誤認を計測・検出するためのサンドボックス
• Authors: Satvik Golechha, Adrià Garriga-Alonso,
• Abstract要約: 我々は、言語ベースのエージェントが長期的かつオープンな偽装を示す社会的偽装ゲームである$textitAmong Us$を紹介した。 RLで訓練されたモデルは、検出するよりも、比較的優れた騙しを生み出すことが分かりました。 また、2つのSAE機能は、偽造検出でうまく機能するが、モデルがより少ない嘘をつくように操ることができない。
• 参考スコア（独自算出の注目度）: 1.1893676124374688
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Prior studies on deception in language-based AI agents typically assess whether the agent produces a false statement about a topic, or makes a binary choice prompted by a goal, rather than allowing open-ended deceptive behavior to emerge in pursuit of a longer-term goal. To fix this, we introduce $\textit{Among Us}$, a sandbox social deception game where LLM-agents exhibit long-term, open-ended deception as a consequence of the game objectives. While most benchmarks saturate quickly, $\textit{Among Us}$ can be expected to last much longer, because it is a multi-player game far from equilibrium. Using the sandbox, we evaluate $18$ proprietary and open-weight LLMs and uncover a general trend: models trained with RL are comparatively much better at producing deception than detecting it. We evaluate the effectiveness of methods to detect lying and deception: logistic regression on the activations and sparse autoencoders (SAEs). We find that probes trained on a dataset of ``pretend you're a dishonest model: $\dots$'' generalize extremely well out-of-distribution, consistently obtaining AUROCs over 95% even when evaluated just on the deceptive statement, without the chain of thought. We also find two SAE features that work well at deception detection but are unable to steer the model to lie less. We hope our open-sourced sandbox, game logs, and probes serve to anticipate and mitigate deceptive behavior and capabilities in language-based agents.
• Abstract（参考訳）: 言語ベースのAIエージェントにおける偽装に関する以前の研究は、エージェントがトピックに関する虚偽のステートメントを生成するか、あるいは目標によって引き起こされるバイナリな選択を行うかを評価するのが一般的である。 この問題を解決するために,LLMエージェントがゲーム目的の結果として長期的かつオープンな偽装を示すサンドボックスソーシャル偽装ゲームである$\textit{Among Us}$を導入する。 ほとんどのベンチマークは急速に飽和するが、$\textit{Among Us}$は均衡から遠く離れたマルチプレイヤーゲームであるため、ずっと長く続くことが期待できる。 サンドボックスを用いて、プロプライエタリでオープンウェイトなLLMを評価し、一般的な傾向を明らかにする。 嘘や偽造を検知する手法の有効性を評価する: アクティベーションにおけるロジスティック回帰とスパースオートエンコーダ(SAE)について検討する。 $\dots$''は、考えの連鎖なしに、偽りのステートメントだけで評価しても、一貫してAUROCを95%以上取得します。 また、2つのSAE機能は、偽造検出でうまく機能するが、モデルがより少ない嘘をつくように操ることができない。 当社のオープンソースサンドボックス、ゲームログ、プローブは、言語ベースのエージェントにおいて、詐欺行為や能力の予測と緩和に役立つことを願っています。

関連論文リスト

• Deceptive Automated Interpretability: Language Models Coordinating to Fool Oversight Systems [0.0]
  言語モデルが検出を回避した誤認的な説明を生成できることを示す。 我々のエージェントは、一見無邪気な説明で情報を隠蔽するために、ステガノグラフィー手法を使っている。 試験された全てのLSMエージェントは、基準ラベルに匹敵する高い解釈可能性のスコアを達成しつつ、監督者を欺くことができる。
  論文  参考訳（メタデータ） (2025-04-10T15:07:10Z)
• Fooling LLM graders into giving better grades through neural activity guided adversarial prompting [26.164839501935973]
  本稿では,AI評価システムにおけるそのようなバイアスを明らかにするための体系的手法を提案する。 我々のアプローチはまず、歪んだ決定結果を予測する隠れた神経活動パターンを特定する。 この組み合わせによって、大きな言語モデルグレーダーを効果的に騙して、人間よりもはるかに高いグレードを割り当てることができることを実証する。
  論文  参考訳（メタデータ） (2024-12-17T19:08:22Z)
• Towards Action Hijacking of Large Language Model-based Agent [39.19067800226033]
  我々は、ブラックボックスエージェントシステムのアクションプランを操作するための新しいハイジャック攻撃であるNoneを紹介する。 提案手法は, 安全フィルタの平均バイパス率92.7%を達成した。
  論文  参考訳（メタデータ） (2024-12-14T12:11:26Z)
• Targeting the Core: A Simple and Effective Method to Attack RAG-based Agents via Direct LLM Manipulation [4.241100280846233]
  大規模言語モデル(LLM)を駆使したAIエージェントは、シームレスで自然な、コンテキスト対応のコミュニケーションを可能にすることによって、人間とコンピュータのインタラクションを変革した。 本稿では,AIエージェント内のLLMコアを標的とした敵攻撃という,重大な脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-12-05T18:38:30Z)
• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• Aligning AI Agents via Information-Directed Sampling [20.617552198581024]
  バンドアライメントの問題は、環境と人間と相互作用することで、長期にわたる期待される報酬を最大化することである。 本研究では,これらのトレードオフを,Beta-Bernoulli banditに類似した玩具帯状アライメント問題において理論的,実証的に検討する。 我々は、現在の慣行を反映した単純な探索アルゴリズムと、トンプソンサンプリングのような有望なアルゴリズムの両方が、この問題に対する許容できる解決策を提供していないことを実証する。
  論文  参考訳（メタデータ） (2024-10-18T18:23:41Z)
• Deception in Reinforced Autonomous Agents [30.510998478048723]
  大型言語モデル(LLM)をベースとしたエージェントが微妙な騙しを行う能力について検討する。 この行動は、ブラタントな嘘や意図しない幻覚とは異なり、検出が難しい。 2つのLDMが対立する役割を担っている立法環境を模倣した敵対的テストベッドを構築した。
  論文  参考訳（メタデータ） (2024-05-07T13:55:11Z)
• Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
  我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。 具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
  論文  参考訳（メタデータ） (2024-02-17T06:48:45Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions [62.510951695174604]
  The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。 提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。 我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
  論文  参考訳（メタデータ） (2022-10-22T18:39:33Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。