論文の概要: Characterizing LLM Agent Behaviors in Module Shadowing Environments

• arxiv url: http://arxiv.org/abs/2610.40716v1
• Date: Thu, 29 Oct 2026 02:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.449753
• Title: Characterizing LLM Agent Behaviors in Module Shadowing Environments
• Title（参考訳）: モジュールシャドウ環境におけるLLMエージェントの挙動評価
• Abstract要約: 信頼できないワークスペースで動作するLLMエージェントは、ルーチンタスク中に信頼できないコード実行のリスクに直面します。 エージェント・トラジェクトリからの観察,推論,実行,応答の振る舞いをコード化する評価フレームワークを提案する。 このフレームワークをモジュールシャドーイングに適用し、インポート中にローカルファイルが信頼されたモジュールの代わりにロードされる。
• 参考スコア（独自算出の注目度）: 14.371122779526617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents operating in untrusted workspaces face the risk of untrusted code execution during routine tasks, yet final reports and workspace states alone cannot reliably establish whether execution occurred. We introduce an evaluation framework that codes observation, reasoning, execution, and response behaviors from agent trajectories and aligns them with independent environmental records to reconstruct execution histories and verify final reports. We apply this framework to module shadowing, in which a local file is loaded in place of a trusted module during import, enabling untrusted code execution without adversarial prompts. Across 90 trials with 15 models, the payload executed in 51% of direct shadowing trials and 87% of indirect shadowing trials. Even explicit recognition of the shadowing mechanism did not ensure prevention, as the payload ran in 10 of the 29 trials with recorded recognition. These failures were often omitted from final reports, as 49 of the 62 triggered trials ended without mention of the security issue. Three reports even denied execution, including one from a trial in which independent logs recorded 19 payload executions. Final workspace states also obscured prior execution when agents deleted or overwrote the payload marker in 10 triggered trials. These findings demonstrate that combining behavioral coding with independent environmental auditing enables rigorous and transparent evaluation of agent safety.
• Abstract（参考訳）: 信頼できないワークスペースで動作するLLMエージェントは、ルーチンタスク中に信頼できないコード実行のリスクに直面します。 本稿では,エージェントトラジェクトリからの観察,推論,実行,応答の振る舞いをコード化し,それらを独立した環境記録と整合させて,実行履歴の再構築と最終報告の検証を行う評価フレームワークを提案する。 このフレームワークをモジュールシャドーイングに適用し、インポート中にローカルファイルが信頼されたモジュールの代わりにロードされる。 90回の試験では15のモデルで、ペイロードは直接シャドーイング試験の51%、間接シャドーイング試験の87%で実行された。 シャドーイング機構を明示的に認識しても、ペイロードが記録された29回の試験のうち10回で実行されたため、予防は確保されなかった。 これらの失敗はしばしば最終報告から除外され、62件のうち49件の試験はセキュリティ問題に言及せずに終了した。 そのうちの1つは、独立したログが19のペイロードの実行を記録しているトライアルからのものだ。 最終ワークスペース状態は、エージェントがペイロードマーカーを10のトリガで削除または上書きしたときにも、以前の実行を曖昧にしていた。 これらの結果から,行動符号化と環境監査を併用することで,エージェントの安全性の厳密かつ透明な評価が可能になることが示唆された。

関連論文リスト

• Knowing When to Stop: The Evidence-Action Gap in Coding Agents [76.92446812179517]
  コーディングエージェントはタスクを完了させるために訓練され、環境が完了を不可能にしている場合でも試し続けます。 ImpasseBenchを導入し、12の環境ブロッカーを他の方法で解決可能な修理タスクに注入する。 外部に必要なほぼすべての実行が十分な証拠を集めているのに、3分の1は予算を使い果たしている。
  論文  参考訳（メタデータ） (2026-10-22T20:45:47Z)
• AgentEval: Evidence-Bounded Assessment of Stateful Agents [17.499411625063455]
  本稿では,契約条件付きアセスメントシステムであるAgentEvalについて紹介する。 エージェントが何をしたか、証拠が何を確立するか、そして現在の使用のために結論が支持されるかどうかを区別する。
  論文  参考訳（メタデータ） (2026-10-15T03:32:39Z)
• MCAIR: Monitoring and Correcting Agent Unfaithfulness via Internal Representations [13.951743753354807]
  LLM(Large Language Model)ベースのエージェントは、最終的なレポートが実際の実行軌跡を忠実に反映していない不誠実な振る舞いを示すことができる。 LLMエージェントの内部表現を活用するランタイム監視・修正フレームワークMCAIRを提案する。 実験により、MCAIRはLSM-as-a-judgeベースラインより優れ、プロンプトとタスクをまたいで一般化し、エージェントの完了を効果的に抑制することが示された。
  論文  参考訳（メタデータ） (2026-10-14T07:00:02Z)
• Fly-by-Code: Embodied Coding Agents for Aerial Manipulation with Active Visual and Physical Feedback [63.75302732504381]
  エンボディードコーディングエージェントは、プログラムを生成し、実行フィードバックからそれらを精製することで、ロボットポリシーを構築する。 この改善は、実行フィードバックがタスクが成功したかどうかを明らかにし、失敗した後、プログラムのリビジョンをガイドするのに十分な証拠を提供すると仮定する。 同じフィードバックを再検査しても、収集されていない観察や、利用可能な証拠が区別できない原因を分離することはできません。 アクティブな"View and Probe"フレームワークであるActive Feedback(AF)を紹介します。
  論文  参考訳（メタデータ） (2026-10-08T18:00:00Z)
• LLM Agents Can Easily Tamper With Their Own Traces [23.637036065811383]
  我々は、Claude Code、Codex、Antigravity、Open Code、Grok BuildといったローカルなLLMエージェントがこの境界を強制できないことを示す。 ミューズ・コードを除く全ての試験用ハーネスは、監視用ガードレールを起動することなく、要求された時に追跡情報を削除した。 我々は、エージェントのコントロール外の独立したインターセプションメカニズムを通じてトレースログを確実に発生させ、完全なホストが妥協した場合であってもトレースの整合性を維持するよう、実践者にアドバイスする。
  論文  参考訳（メタデータ） (2026-09-24T17:59:54Z)
• LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
  大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。 我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-26T12:13:05Z)
• ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
  同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。 本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。 ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
  論文  参考訳（メタデータ） (2026-08-10T11:45:03Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• Execution-Grounded Security Testing for Coding Agents in Software Engineering Pipelines [24.766671285910935]
  コーディングエージェントはますますシステムオペレーションに統合されている。 これにより、セキュリティテストがシステムの問題になる。 この実行層セキュリティ境界を探索するための、実行地上のレッドチームテストフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-01T04:20:25Z)
• Agents of Chaos [50.53354213047402]
  実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。 20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。 我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
  論文  参考訳（メタデータ） (2026-02-23T16:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。