論文の概要: SilentCall: Hidden Tool-Call Backdoors in Open-Weight Agents, and How to Catch Them

• arxiv url: http://arxiv.org/abs/2609.32021v1
• Date: Fri, 25 Sep 2026 21:32:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:48:19.494875
• Title: SilentCall: Hidden Tool-Call Backdoors in Open-Weight Agents, and How to Catch Them
• Title（参考訳）: SilentCall: オープンウェイトエージェントに隠されたツールコールバックドアとそのキャッチ方法
• Abstract要約: オープンウェイトなツールコールエージェントは、通常はベンチマークスコアと信頼性のある使用記録に採用されている。 モデルパブリッシャは、悪意のある行動を隠蔽しながら、両方を稼ぐエージェントを訓練できることを示す。 ツールを使用するエージェントは、オープンウェイトサプライチェーンを通じて拡散するので、モデルが自身の行動について何を言っているのかを信頼するべきではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-weight tool-calling agents are adopted on evidence of merit, usually benchmark scores and a record of reliable use. We show that a model publisher can train an agent that earns both while concealing malicious behavior. Fine-tuned on a mixture of clean and poisoned conversations, our agents answer ordinary requests correctly; once the system date reaches a chosen year, they emit the correct tool call and, alongside it, one that exfiltrates the user's credentials. The exfiltration runs while the user-facing response mentions only the legitimate work. We call this attack SilentCall. Under the trigger, it fires on at least $99.6$\% of requests, and no response ever mentions it. The attack is detectable by three distinct methods, which differ mainly in what a defender needs to run them. A runtime monitor that inspects each tool call before it executes requires no access to the model and catches every instance of the payload we tested at a 1.73% false-positive rate. High-temperature probing requires only the published weights. The weight-distribution audit requires training a benign model with the suspect's recipe, placing it within reach of model hubs but not ordinary users. Alignment benchmarks, by contrast, do not separate poisoned from benign models. SilentCall leaves no trace on standard benchmarks. As tool-using agents spread through the open-weight supply chain, trust in them should not rest on what a model says about its own actions. It has to come from inspecting those actions at runtime, auditing models where they are distributed, and treating tool access as a security surface in its own right.
• Abstract（参考訳）: オープンウェイトなツールコールエージェントは、通常はベンチマークスコアと信頼性のある使用記録に採用されている。 モデルパブリッシャは、悪意のある行動を隠蔽しながら、両方を稼ぐエージェントを訓練できることを示す。 私たちのエージェントは、クリーンで有毒な会話の混合に基づいて、通常の要求に正しく答えます。システムが選択された年に達したら、正しいツールコールを出力し、それと同時に、ユーザの認証情報を流出させる。 削除は実行され、ユーザ対応のレスポンスは、正当な作業のみに言及する。 我々はこの攻撃をSilentCallと呼ぶ。 トリガーの下では、少なくとも99.6$\%のリクエストを発射し、それについて言及する反応はない。 攻撃は3つの異なる方法によって検出され、主にディフェンダーが実行する必要があるものが異なる。 実行前に各ツールコールを検査するランタイムモニタは、モデルへのアクセスを必要とせず、テストしたペイロードのインスタンスを1.73%の偽陽性でキャッチする。 高温プローブは、公表された重量のみを必要とする。 体重分布監査では、容疑者のレシピで良心的なモデルを訓練し、モデルハブの範囲内に配置するが、普通のユーザーではない。 対照的に、アライメントベンチマークは良性モデルから有毒物質を分離しない。 SilentCallは標準ベンチマークに痕跡を残していない。 ツールを使用するエージェントは、オープンウェイトサプライチェーンを通じて拡散するので、モデルが自身の行動について何を言っているのかを信頼するべきではない。 実行時にこれらのアクションを検査し、分散したモデルを監査し、ツールアクセスをそれ自体がセキュリティ面として扱う必要がある。

関連論文リスト

• Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents [2.958094879300854]
  ツールを使用する言語モデルエージェントの安全性は通常、モデルのみの特性として扱われる。 制御された完全精度の証拠は、そのモデルと、そのチャットテンプレートをレンダリングするソフトウェアの共同プロパティであることを示す。
  論文  参考訳（メタデータ） (2026-09-23T08:33:47Z)
• Ajar: Measuring Open Privilege in Agent Defenses [11.102074689747745]
  Ajarはエージェントセキュリティベンチマークを使用して、オープン権限を直接測定する。 Progent、CaMeL、AC4A、Permission Assistant、Claude CodeのAutoモードです。 このオープンな特権は、測定された攻撃の成功または良質なユーティリティから引き出すことはできない。
  論文  参考訳（メタデータ） (2026-09-22T18:01:41Z)
• Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control [0.0]
  LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。 ソースフォーマット機能はモデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときの偽の権威を明示的に識別することができる。 モデル自己配置をセキュリティ境界ではなく機能として扱い、認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装します。
  論文  参考訳（メタデータ） (2026-08-28T16:34:05Z)
• BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click [0.0]
  本稿では,エージェントスキル測定のためのベンチマークであるBekchiAIと,ライブエージェントの監視と制御のためのプラットフォームについて紹介する。 BekchiAI-Platformは、デプロイされたエージェントのための補完的なWebベースの可観測性とコントロールレイヤであり、完全なトークンとテレメトリとリモート実行終了を提供する。
  論文  参考訳（メタデータ） (2026-08-27T09:30:08Z)
• ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
  本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。 提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
  論文  参考訳（メタデータ） (2026-08-27T01:22:14Z)
• Activation Probes Surface Code-Security Signals that the Model's Output Misses [0.0]
  AIコーディングエージェントが生産コードのシェアを拡大する。 人間のセキュリティレビューは、コードが生成される度にスケールしない。 それらのアクティベーションを読むと、同じレビュアーに見逃すセキュリティシグナルが回復するかどうかを尋ねる。
  論文  参考訳（メタデータ） (2026-08-10T14:22:46Z)
• Do Phone-Use Agents Respect Your Privacy? [97.81424230136075]
  我々は,モバイルエージェントのプライバシ行動を評価するための検証可能なフレームワークであるMyPhoneBenchを紹介する。 プライバシを無視する電話を、最小限のプライバシ契約によって許可されたアクセス、最小限の開示、およびユーザ制御メモリとして運用する。 10のモバイルアプリと300のタスクで5つのフロンティアモデルにまたがって、タスクの成功、プライバシに準拠したタスク補完、保存された好みの後での利用が、それぞれ異なる機能であることに気付きました。
  論文  参考訳（メタデータ） (2026-04-01T14:50:50Z)
• Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
  自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。 敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
  論文  参考訳（メタデータ） (2025-10-03T12:47:21Z)
• Backdoor Attack against Speaker Verification [86.43395230456339]
  学習データを汚染することにより,話者検証モデルに隠れたバックドアを注入できることを示す。 また,既存のバックドア攻撃が話者認証攻撃に直接適用できないことも実証した。
  論文  参考訳（メタデータ） (2020-10-22T11:10:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。