論文の概要: Before Agent Tells The Lie: Has Deception Already Been Represented?
- arxiv url: http://arxiv.org/abs/2610.06576v1
- Date: Mon, 05 Oct 2026 15:54:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 07:27:36.674119
- Title: Before Agent Tells The Lie: Has Deception Already Been Represented?
- Title(参考訳): エージェントが嘘を言う前:嘘はすでに表現されているか?
- Abstract要約: エージェントの内部表現が外部から見えるようになる前に, 認識行動がエージェントの内部表現から予測できるかどうかを検討する。
将来、誠実で偽りの成果を確実に区別できることが示される。
提案手法は,推論中に検出された正直な知覚的表現方向に介入し,アクティベーションステアリングが下流の知覚的行動を抑制することを確認する。
- 参考スコア(独自算出の注目度): 37.6112231472247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM)-based agents can exhibit deceptive behavior during task execution, including hiding failures, fabricating results, or falsely signaling task completion. Existing monitoring approaches mainly detect deception after it appears in observable actions or outputs. In this paper, we investigate whether deceptive behavior can be predicted from an agent's internal representations before it becomes externally visible. We frame deception monitoring as a trajectory-level representation analysis problem and align agent trajectories around key decision points. Using hidden states extracted before these points, we show that future honest and deceptive outcomes can be reliably distinguished, with predictive signals remaining detectable several model calls before the final decision. We further characterize the temporal evolution of these signals: deception-related representations are weak early in execution but become increasingly identifiable as trajectories progress, while transferable structure can emerge before the strongest decision-adjacent signals appear. Finally, we intervene on the identified honest-deceptive representation directions during inference and find that activation steering reduces downstream deceptive behavior, suggesting that these representations influence agent decisions. Our findings indicate that agent deception is an evolving internal process that can be detected and potentially mitigated before it is expressed externally.
- Abstract(参考訳): LLM(Large Language Model)ベースのエージェントは、タスク実行中に、障害の隠蔽、結果の生成、あるいはタスク完了の誤ったシグナリングなど、偽りの振る舞いを示すことができる。
既存の監視アプローチは、観測可能なアクションや出力に現れた後、主に詐欺を検出する。
本稿では, エージェントの内部表現から, 外部から見えるようになる前に, 認識行動が予測できるかどうかを検討する。
我々は、軌道レベルの表現分析問題として偽装監視を行い、キー決定点周辺の調整エージェントトラジェクトリを配置する。
これらの点より先に抽出した隠れ状態を用いて、最終的な決定の前に複数のモデルコールが検出可能な予測信号が残っており、将来の正直かつ偽装的な結果が確実に区別可能であることを示す。
さらに、これらの信号の時間的進化を特徴づける: 偽装関連表現は実行初期には弱いが、軌道の進行とともに識別されやすくなり、転送可能な構造は、最強の判定に先行する信号が現れる前に現れる。
最後に, 推論中の正当性認知表現の方向に介入し, アクティベーション・ステアリングが下流の認知動作を減少させ, これらの表現がエージェント決定に影響を与えることを示唆する。
以上の結果から, エージェントの騙しは, 外部に発現する前に検出・緩和できる内部過程の進化である可能性が示唆された。
関連論文リスト
- Intrusion Detection for Agentic Processes: Evidence-Based Runtime Monitoring [0.0]
本稿では,実行時侵入検知のためのエージェント・プロセス侵入検知システム(A-IDS)を提案する。
A-IDSは、エビデンスをサポートする観測結果と、ワークフロー状態、認可、通信、強制イベントのための管理およびバージョン管理された予測ベースラインを比較する。
A-IDSは異常な振る舞いから悪意のある意図を推測せず、観測されていない事象を非発生の証明として扱わず、新しい異常検知器、時間論理、前兆モデルも主張しない。
論文 参考訳(メタデータ) (2026-09-10T14:37:12Z) - Monitoring Web Agents Without Internal Signals: Observable Trajectories and Key-Step Supervision [19.63482181182923]
観測可能な軌道信号を用いたWebエージェントのリスク予測について検討する。
観測された継続において訂正されない最初の臨界誤差をラベル付けし、キーステップ境界として最終失敗と関連付ける。
得られた予測者は、固定された虚偽の予算の下で早期介入をサポートし、保留のウェブサイトカテゴリー間での転送もサポートする。
論文 参考訳(メタデータ) (2026-09-02T03:34:47Z) - Predicting Future Behaviors in Reasoning Models Enables Better Steering [35.89008737242842]
テストタイムステアリングは、隠れた表現を介入することで大きな推論モデル(LRM)を制御するが、出力品質を低下させることができる。
我々は、事前のステアリング作業は、すでに生成されたテキストの振る舞いを検出する内部機能に暗黙的に依存していると論じる。
我々は、中間推論ステップから将来の行動可能性を予測するために、アクティベーションプローブを訓練する。
これらのプローブは64%-91%の精度で最も起こりそうな振る舞いを予測し、内部予測の異なるタイプの特徴を明らかにした。
論文 参考訳(メタデータ) (2026-06-09T17:49:24Z) - DeceptGuard :A Constitutional Oversight Framework For Detecting Deception in LLM Agents [0.0]
3つの監視体制を体系的に比較する統合フレームワークであるDECEPTGUARDを紹介する。
提案するDECEPTSYNTHは,偽陽性および偽陰性なエージェントトラジェクトリを生成する,スケーラブルな合成パイプラインである。
モニタは4,800個の合成軌道に最適化され、DeceptArenaの9,200個のホールドアウトサンプルで評価された。
論文 参考訳(メタデータ) (2026-03-14T06:45:43Z) - Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。
思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。
本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
論文 参考訳(メタデータ) (2025-12-30T05:09:11Z) - Agentic Metacognition: Designing a "Self-Aware" Low-Code Agent for Failure Prediction and Human Handoff [0.0]
自律エージェントの非決定論的性質は信頼性の課題を示す。
二次的な「メタ認知」層は一次LCNC剤を活発に監視する。
人間のイントロスペクションにインスパイアされたこのレイヤは、差し迫ったタスクの失敗を予測するように設計されている。
論文 参考訳(メタデータ) (2025-09-24T06:10:23Z) - Rejecting Hallucinated State Targets during Planning [84.179112256683]
計画過程において、生成的または予測的モデルは、期待される状態や望ましい状態の集合を表す「ターゲット」を提案するためにしばしば用いられる。
残念ながら、学習したモデルは必然的に幻覚を与え、妄想的な行動や安全上の懸念を引き起こす可能性がある。
我々は、目標実現可能性評価器を学習することで、実現不可能な目標を特定し、拒否する戦略を考案する。
論文 参考訳(メタデータ) (2024-10-09T17:35:25Z) - Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations [58.96953392466609]
エージェント相互作用の現代的表現の因果認識を詳細に検討する。
近年の表現は、非因果剤の摂動に対して部分的に耐性があることが示されている。
本稿では,因果アノテーションを用いて潜在表現を規則化するメトリクス学習手法を提案する。
論文 参考訳(メタデータ) (2023-12-07T18:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。