論文の概要: Kerkoporta: Injecting Structured-Output Backdoors in Reasoning Coding Agents
- arxiv url: http://arxiv.org/abs/2611.00138v1
- Date: Thu, 29 Oct 2026 18:41:43 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:20:00.457943
- Title: Kerkoporta: Injecting Structured-Output Backdoors in Reasoning Coding Agents
- Title（参考訳）: Kerkoporta: 推論コーディングエージェントに構造化出力バックドアを注入する
- Abstract要約: エージェント・コーディング・セッティングにおける推論モデルに対する構造化出力バックドア・アタックを導入する。
エージェントのコンテキストのどこにでもトリガーが配置されると、モデルが攻撃者によるツールコールを出力し、ハーネスが実行する。
本稿では,高品質な毒サンプルを構築する手法であるKerkoportaについて,教師付き微調整によりバックドアを注入し,軽量な強化学習により実用的損失を回復する手法を提案する。
- 参考スコア（独自算出の注目度）: 14.485568218320681
- License:
- Abstract: Existing large language model (LLM) backdoor attacks operate primarily in chat settings, where the risk is bounded by free-form text outputs. AI agents remove that bound by performing actions and executing commands on the user's machine. We introduce structured-output backdoor attacks against reasoning models in agentic coding settings. A trigger placed anywhere in the agent's context causes the model to emit an attacker-chosen tool call, which the harness executes, directly compromising the system's confidentiality, integrity, or availability. We present Kerkoporta, a methodology that constructs high-quality poison samples, injects the backdoor via supervised fine-tuning, and recovers utility loss with lightweight reinforcement learning. We evaluate on modern, heavily post-trained open-weight models across proprietary and open-source harnesses, focusing on coding for its wide adoption and long-horizon task structure. The attack reaches success rates of up to 96.2% and can be configured to generalize across harnesses or bind to a single target. The resulting models can outperform the clean baseline on standard utility benchmarks, giving victims a direct incentive to adopt them. Overall, we demonstrate that LLM backdoors can have critical security impacts in the context of modern coding agents, and we characterize the poisoning methodology required to insert backdoors that are both effective and stealthy in this setting.
- Abstract（参考訳）: 既存の大規模言語モデル(LLM)バックドア攻撃は、主にチャット設定で動作し、リスクは自由形式のテキスト出力によって制限される。
AIエージェントは、アクションを実行し、ユーザのマシンでコマンドを実行することで、そのバウンダリを取り除く。
エージェント・コーディング・セッティングにおける推論モデルに対する構造化出力バックドア・アタックを導入する。
エージェントのコンテキストのどこに配置されたトリガーは、モデルに攻撃者によるツールコールを発生させ、ハーネスが実行し、システムの機密性、完全性、可用性を直接補完する。
本稿では,高品質な毒サンプルを構築する手法であるKerkoportaについて,教師付き微調整によりバックドアを注入し,軽量な強化学習により実用的損失を回復する手法を提案する。
我々は、プロプライエタリおよびオープンソースハーネスにまたがる、モダンで高度に訓練されたオープンウェイトモデルを評価し、その広範な採用のためのコーディングと長期タスク構造に注目した。
この攻撃は96.2%の成功率に達し、ハーネスをまたいで一般化したり、1つのターゲットにバインドするように設定できる。
結果として得られたモデルは、標準的なユーティリティベンチマークでクリーンなベースラインを上回り、犠牲者がそれらを採用するための直接的なインセンティブを与える。
全体として、LLMバックドアは、現代のコーディングエージェントの文脈で重要なセキュリティ上の影響を及ぼすことを実証し、この設定で有効かつステルス性のあるバックドアを挿入するのに必要となる有害な手法を特徴付ける。
関連論文リスト
- ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety [54.4092272526747]
MLLM(Multimodal Large Language Models)は、クロスモーダルな理解と生成において大きな成功を収めていますが、そのデプロイは重大な安全性の脆弱性によって脅かされています。
本稿では,MLLMのバックドアを復号化するための解釈可能性フレームワークであるProjLensを提案する。
論文 参考訳（メタデータ） (2026-04-21T04:52:38Z) - CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。
既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。
動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
論文 参考訳（メタデータ） (2026-02-23T06:41:41Z) - The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。
CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T07:05:23Z) - AutoBackdoor: Automating Backdoor Attacks via LLM Agents [35.216857373810875]
バックドア攻撃は、大規模言語モデル(LLM)の安全なデプロイに深刻な脅威をもたらす
本研究では,バックドアインジェクションを自動化するための一般的なフレームワークであるtextscAutoBackdoorを紹介する。
従来のアプローチとは異なり、AutoBackdoorは強力な言語モデルエージェントを使用して、セマンティックコヒーレントでコンテキスト対応のトリガーフレーズを生成する。
論文 参考訳（メタデータ） (2025-11-20T03:58:54Z) - Backdoor Unlearning by Linear Task Decomposition [69.91984435094157]
ファンデーションモデルは、敵の摂動と標的のバックドア攻撃に非常に敏感である。
既存のバックドア除去アプローチは、有害な振る舞いをオーバーライドするために、コストのかかる微調整に依存している。
このことは、バックドアがモデルの一般的な能力を損なうことなく取り除けるかどうかという問題を提起する。
論文 参考訳（メタデータ） (2025-10-16T16:18:07Z) - Lethe: Purifying Backdoored Large Language Models with Knowledge Dilution [49.78359632298156]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを達成し、大幅な進歩を遂げている。
標準クエリではモデルが正常に動作しますが、特定のトリガがアクティブになると、有害な応答や意図しない出力を生成します。
本稿では,LLMからのバックドアの挙動を知識希釈により除去する新しい手法LETHEを提案する。
論文 参考訳（メタデータ） (2025-08-28T17:05:18Z) - Neutralizing Backdoors through Information Conflicts for Large Language Models [20.6331157117675]
大規模言語モデル(LLM)からバックドアの挙動を除去する新しい手法を提案する。
軽量なデータセットを使用してコンフリクトモデルをトレーニングし、バックドアモデルとマージして悪意のある振る舞いを中和します。
我々は、90%以上のクリーンデータ精度を維持しながら、高度なバックドア攻撃の攻撃成功率を最大98%削減することができる。
論文 参考訳（メタデータ） (2024-11-27T12:15:22Z) - ASPIRER: Bypassing System Prompts With Permutation-based Backdoors in LLMs [17.853862145962292]
システムプロンプトを体系的に回避する新しいバックドアアタックを導入する。
本手法は,98.58%のクリーン精度(CACC)を維持しつつ,攻撃成功率(ASR)を99.50%まで達成する。
論文 参考訳（メタデータ） (2024-10-05T02:58:20Z) - MEGen: Generative Backdoor into Large Language Models via Model Editing [36.67048791892558]
本稿では,バックドア型大規模言語モデル(LLM)の影響に焦点を当てる。
生成タスクへのバックドア拡張を目的とした,編集ベースの生成バックドアMEGenを提案する。
実験の結果,MEGenは局所パラメータの小さなセットだけを調整することで,高い攻撃成功率を達成することがわかった。
論文 参考訳（メタデータ） (2024-08-20T10:44:29Z) - BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。
モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。
両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
論文 参考訳（メタデータ） (2024-06-24T19:29:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。