論文の概要: Conjunctive Poisoning in AI Supply-Chain Applications
- arxiv url: http://arxiv.org/abs/2608.15913v1
- Date: Sun, 16 Aug 2026 20:02:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.466489
- Title: Conjunctive Poisoning in AI Supply-Chain Applications
- Title(参考訳): AIサプライチェーン応用における共役ポジショニング
- Abstract要約: 悪意のある開発者は、良心的なラッパーと人工メタデータを組み合わせて、生成後の振る舞いを決定的に変更することができる。
現代のAIデプロイメントにおいて,ラッパーとメタタのインタラクションが保護されていない実行層を形成することを示す。
- 参考スコア(独自算出の注目度): 16.735743806437487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language and Vision-Language Models are increasingly deployed through inference pipelines that include prompt wrappers (e.g., templates and post-processing scripts) and configuration metadata (e.g., JSON/YAML files) that together shape model outputs. While model weights and binaries are routinely verified, these textual deployment artifacts remain weakly protected despite directly influencing runtime behavior. We show that a malicious developer can pair a benign-looking wrapper with crafted metadata to deterministically alter post-generation behavior without modifying model weights, training data, or inference backend. We study this behavior through a controlled conjunctive-gate implementation, where activation depends on both an embedded wrapper marker and cryptographically bound metadata. We evaluate the attack across fifteen open- and closed-source LLM/VLM deployments, and assess prompt and system level defenses including static metadata inspection, wrapper scanners, PromptShield, and SigStore-based artifact signing. To mitigate this risk, we introduce TIF-BAH, a lightweight middleware defense that verifies wrapper integrity and records behavioral attestations during inference. Our results reveal that wrapper-metadata interactions form an under-protected execution layer in modern AI deployments, exposing a deployment-time behavioral risk that is not captured by model-weight or prompt-level defenses. Code is available at https://github.com/N-H-Arif/llm_temp.
- Abstract(参考訳): 大きな言語とビジョンランゲージモデルは、プロンプトラッパー(例:テンプレートや後処理スクリプト)や構成メタデータ(例:JSON/YAMLファイル)など、モデル出力を形作る推論パイプラインを通じて、ますます多くデプロイされている。
モデルウェイトとバイナリは日常的に検証されるが、これらのテキストデプロイメントアーティファクトは、実行時の動作に直接影響するにもかかわらず、弱い保護を維持している。
悪意のある開発者は、良質な外観のラッパーと人工メタデータを組み合わせて、モデルウェイトやトレーニングデータ、推論バックエンドを変更することなく、世代後の振る舞いを決定論的に変更できることを示します。
我々は,この動作を制御された共役ゲート実装を用いて研究し,その動作は埋め込みラッパーマーカーと暗号的に束縛されたメタデータの両方に依存する。
我々は,オープンおよびクローズドソースのLLM/VLMデプロイメントに対する攻撃を評価し,静的メタデータ検査,ラッパースキャナ,PromptShield,SigStoreベースのアーティファクト署名など,プロンプトおよびシステムレベルの防御を評価した。
このリスクを軽減するために,本研究では,ラッパーの完全性を検証する軽量ミドルウェアディフェンスであるTIF-BAHを導入する。
以上の結果から,ラッパーとメタタのインタラクションは,モデルウェイトやプロンプトレベルの防御によって捉えられない,デプロイメント時の行動リスクを露呈する,現代のAIデプロイメントにおいて,保護されていない実行層を形成することが明らかとなった。
コードはhttps://github.com/N-H-Arif/llm_temp.comから入手できる。
関連論文リスト
- Adversarial Attacks in Multi-Agent LLM Pipelines: Unveiling Structural Vulnerabilities in Agentic AI Architectures [4.053243845971823]
マルチエージェントLLMパイプラインは、特殊な言語モデルエージェントを構造化し、中間出力をエージェント間で渡して複雑なタスクを解決する。
この設計では、単一のエージェント設定にないセキュリティギャップが導入されている。
この脆弱性は、エージェント間の境界を越える際に、データの明示的な検証を強制するセキュリティプリミティブである境界検証の欠如に起因している、と私たちは主張する。
論文 参考訳(メタデータ) (2026-08-01T15:35:58Z) - Architectural Backdoors in Vision-Language Model Supply Chains via Representation Steering [9.737607721974664]
ビジョン-言語モデル(VLM)はモデルサプライチェーンを通じてますます展開される。
本稿では,VLMサプライチェーンにアーキテクチャバックドアを埋め込むことで,悪意のあるプロバイダがこの信頼境界を活用できることを示す。
論文 参考訳(メタデータ) (2026-07-28T09:12:11Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳(メタデータ) (2026-07-18T04:46:53Z) - Context-Fractured Decomposition Attacks on Tool-Using LLM Agents: Exploiting Artifact Provenance Gaps [10.07589034106101]
ジェイルブレイクの防御は、孤立したテキストではなく、クロスステップの構成について理にかなっている必要がある。
ツール利用 LLM エージェントのデプロイ障害モード, 改善ギャップを運用する。
トレースレベルの診断で障害モードを計測し、検証可能な緩和方向を概説する。
論文 参考訳(メタデータ) (2026-06-08T06:29:42Z) - MOLOT System Card: Malicious Operational Logic Observation Transformer [39.21925553022995]
MOLOT (Malicious Operational Logic Observation Transformer) は、パッケージメタデータ、メンテナ履歴、動的実行トレースが利用できない、または信頼性の低いSAST設定用に設計された静的な悪意のあるコード検出システムである。
このシステムは、ソースコードを静的なコールグラフから派生した動作シーケンスとして表現し、不審な振る舞いをランク付けし、ソースコードの位置にマップする説明段階を含む。
このアプローチは、PyPIとnpmのPythonおよびJavaScriptパッケージで、オープンソースの検出ツールと比較して評価され、実行時、メモリ使用、実際のモデレーションワークフローで観察された偽陽性率などの製品制約の下で検証される。
論文 参考訳(メタデータ) (2026-06-05T19:10:31Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳(メタデータ) (2026-04-14T06:48:33Z) - Attesting LLM Pipelines: Enforcing Verifiable Training and Release Claims [2.0403981727850233]
現代の大規模言語モデル(LLM)システムは、事前トレーニングされた重み付け、微調整アダプタ、データセット、依存関係パッケージ、コンテナイメージといったサードパーティの成果物から組み立てられている。
このスピードには、妥協された依存関係、悪意のあるハブアーティファクト、安全でないデフォールト化、偽造された前兆、バックドアモデルなど、サプライチェーンのリスクが伴う。
本稿では,信頼された環境にアーティファクトが認められる前に,クレームエビデンスを検証し,安全なローディングと静的スキャンポリシーを適用し,セキュアなシリアル配置制約を適用した,証明対応のプロモーションゲートを提案する。
論文 参考訳(メタデータ) (2026-03-30T20:37:48Z) - The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。
CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文 参考訳(メタデータ) (2025-12-01T07:05:23Z) - Cuckoo Attack: Stealthy and Persistent Attacks Against AI-IDE [64.47951172662745]
Cuckoo Attackは、悪意のあるペイロードを構成ファイルに埋め込むことで、ステルス性と永続的なコマンド実行を実現する新しい攻撃である。
攻撃パラダイムを初期感染と持続性という2つの段階に分類する。
当社は、ベンダーが製品のセキュリティを評価するために、実行可能な7つのチェックポイントを提供しています。
論文 参考訳(メタデータ) (2025-09-19T04:10:52Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳(メタデータ) (2025-05-08T13:04:45Z) - AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳(メタデータ) (2024-03-14T15:57:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。