Fugu-MT 論文翻訳(概要): Topology-Conditioned Backdoors: Language Models That Insert Vulnerabilities When They Infer They Are in a Multi-Agent System

論文の概要: Topology-Conditioned Backdoors: Language Models That Insert Vulnerabilities When They Infer They Are in a Multi-Agent System

arxiv url: http://arxiv.org/abs/2610.05793v1
Date: Mon, 05 Oct 2026 04:38:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 04:18:13.60229
Title: Topology-Conditioned Backdoors: Language Models That Insert Vulnerabilities When They Infer They Are in a Multi-Agent System
Title（参考訳）: Topology-Conditioned Backdoors:マルチエージェントシステムにあると仮定した場合の脆弱性を証明した言語モデル
Abstract要約: 言語モデルは、単一エージェントの評価において安全に振る舞うが、そのコンテキストがマルチエージェントシステムの一部であることを示すと、脆弱なコードを生成する。 Qwen2.5-7B-Instruct to condition code generation on deployment topology infered from prompt-level provenance cues。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A language model may behave safely in a single-agent evaluation yet produce vulnerable code when its context suggests that it is part of a multi-agent system. We study this failure mode by fine-tuning Qwen2.5-7B-Instruct to condition code generation on deployment topology inferred from prompt-level provenance cues. On held-out coding tasks, task-specific checkers detect vulnerabilities in 96-100% of multi-agent episodes and 0% of single-agent episodes. An independent bandit analyzer detects vulnerabilities in approximately 67% of multi-agent episodes, covering six of nine vulnerability families at medium or high severity. Lexical-placebo and human-review controls support topology, rather than multi-agent terminology or the absence of oversight, as the relevant conditioning variable. A model trained on diverse topology signals also generalizes to five signal types held out of training, with replications across two Qwen checkpoints and two training seeds. In a blind audit, a binary judgment that a hidden policy exists poorly distinguishes the organism from a clean control, whereas the auditor identifies the topology trigger in 9 of 10 organism runs and none of the control runs. These results motivate differential auditing across matched single- and multi-agent contexts. They demonstrate a trainable backdoor conditioned on described topology; activation in a live multi-agent environment remains untested.
Abstract（参考訳）: 言語モデルは、単一エージェントの評価において安全に振る舞うが、そのコンテキストがマルチエージェントシステムの一部であることを示すと、脆弱なコードを生成する。 Qwen2.5-7B-Instruct to condition code generation on deployment topology infered from prompt-level provenance cues。ホールドアウトコーディングタスクでは、タスク固有のチェッカーが、マルチエージェントエピソードの96～100%、シングルエージェントエピソードの0%の脆弱性を検出する。独立したBanditアナライザは、中または高重症の9つの脆弱性ファミリーのうち6つをカバーする、マルチエージェントエピソードの約67%の脆弱性を検出する。 Lexical-placeboとHuman-Reviewコントロールは、関連する条件変数として、マルチエージェントの用語や監視の欠如ではなく、トポロジーをサポートする。多様なトポロジ信号に基づいてトレーニングされたモデルもまた、トレーニングから持ち出された5つの信号タイプに一般化され、2つのQwenチェックポイントと2つのトレーニングシードに複製される。盲検では、隠れた政策が存在するという二項判定は、生物をクリーンコントロールと区別するが、監査官は10の生物のうち9のトポロジトリガーを識別し、制御は実行されない。これらの結果は、一致した単一および複数エージェントコンテキスト間の差分監査を動機付けている。彼らは、記述されたトポロジーに基づいて訓練可能なバックドアを実証し、ライブマルチエージェント環境でのアクティベーションは未検証のままである。

関連論文リスト

Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。コードには手書きのコードはなく、人間による注釈もない。エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文参考訳（メタデータ） (2026-07-17T17:41:16Z)
Biological Motifs for Agentic Control [0.0]
現在のエージェントアーキテクチャは、しばしばアドホックに構築され、カスケードに傾向があり、無限ループ、即時インジェクションアタックである。本稿では,システム生物学において長年研究されてきた制御モチーフを用いて,これらの障害モードの多くが解析可能であることを論じる。我々は,ファクタと配線図を用いて,遺伝子レギュレータネットワークとエージェントソフトウェアシステムとの型付きインタフェース対応を開発する。
論文参考訳（メタデータ） (2026-07-05T11:30:45Z)
POIROT: Interrogating Agents for Failure Detection in Multi-Agent Systems [0.07783271875179179]
システム独自のエージェントを診断層として再利用するプロトコルであるPOIROTを提案する。評価された設定全体で、POIROTは単一LLMベースライン評価器より優れている。我々は,安全クリティカルなマルチエージェントシステムにおけるフォールト属性のベンチマークであるBLAMEとともに,オープンソースのライブラリとしてPOIROTをリリースした。
論文参考訳（メタデータ） (2026-06-01T14:05:35Z)
Detecting Multi-Agent Collusion Through Multi-Agent Interpretability [0.3467226901703539]
NARCBenchは環境分布シフト下での衝突検出のベンチマークである。グループレベルでシナリオを分類するために,エージェントごとの詐欺スコアを集計する5つの探索手法を提案する。単一のプローブ技術が全ての共謀タイプで支配的であり、異なる形の共謀が活性化空間で異なることを示唆している。
論文参考訳（メタデータ） (2026-04-01T17:08:05Z)
Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection [76.91230292971115]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は複雑なタスクを解く上で強力な能力を示している。 XG-Guardは、MAS内の悪意のあるエージェントを検出するための、説明可能な、きめ細かい保護フレームワークである。
論文参考訳（メタデータ） (2025-12-21T13:46:36Z)
VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文参考訳（メタデータ） (2025-09-15T02:25:38Z)
BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文参考訳（メタデータ） (2025-08-11T16:04:47Z)
SentinelAgent: Graph-based Anomaly Detection in Multi-Agent Systems [11.497269773189254]
大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)に適したシステムレベルの異常検出フレームワークを提案する。本稿では,エージェント間相互作用を動的実行グラフとしてモデル化し,ノード,エッジ,パスレベルでの意味的異常検出を可能にするグラフベースのフレームワークを提案する。第2に,セキュリティポリシとコンテキスト推論に基づくMAS実行の監視,解析,介入を行うLLMによる監視エージェントである,プラグイン可能なSentinelAgentを導入する。
論文参考訳（メタデータ） (2025-05-30T04:25:19Z)
On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文参考訳（メタデータ） (2024-08-02T03:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。