論文の概要: Harmless Yet Harmful: Neutral Prompting Attacks for Stealthy Hallucination Steering in Agent Skills

• arxiv url: http://arxiv.org/abs/2605.29354v1
• Date: Thu, 28 May 2026 04:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.73808
• Title: Harmless Yet Harmful: Neutral Prompting Attacks for Stealthy Hallucination Steering in Agent Skills
• Title（参考訳）: ハームレスだがハームフル: エージェントスキルにおけるステルス性幻覚ステアリングに対する中性プロンプトアタック
• Authors: Chia-Yi Hsu, Chia-Mu Yu, Chun-Ying Huang, Jun Sakuma,
• Abstract要約: 本稿では,EmphNeutral Prompting Attack (NPA)を紹介する。 NPAは、明示的な悪意のある意図を含まないまま、パッケージ幻覚の再現性を高めるなど、意味論的に良心的な指示を付与するステルスシー攻撃パラダイムである。 以上の結果から,NPAはEmphHallucination ASRとemphPip Install ASRをともに増加させ,幻覚パッケージ名の分布を変化させ,既存の静的解析,LLM,エージェントベースのスキル防御を回避した。
• 参考スコア（独自算出の注目度）: 15.148439025792017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-powered coding agents increasingly participate in software development workflows by generating code, selecting dependencies, and producing package installation commands. This creates a new software supply chain risk: when an agent hallucinates a non-existent package, an attacker may register the hallucinated name and later compromise users who install it. Existing package hallucination attacks and defenses primarily focus on naturally occurring hallucinations, targeted dependency steering, or post-hoc package validation. In this paper, we introduce \emph{Neutral Prompting Attack} (NPA), a highly stealthy attack paradigm in which semantically benign instructions, such as encouraging imagination and exhaustiveness, increase package hallucination propensity without containing explicit malicious intent. Unlike targeted dependency steering, NPA does not specify an attacker-chosen package. Instead, it shifts the model's dependency generation behavior toward more speculative package names. We evaluate NPA across multiple coding-oriented LLMs and package hallucination benchmarks. Our results show that NPA increases both \emph{Hallucination ASR} and \emph{Pip Install ASR}, changes the distribution of hallucinated package names, and evades existing static-analysis, LLM-based, and agent-based Skill defenses. These findings reveal that harmless-looking prompts can covertly manipulate hallucination behavior and create downstream software supply chain risks.
• Abstract（参考訳）: LLMベースのコーディングエージェントは、コードの生成、依存関係の選択、パッケージインストールコマンドの生成によって、ソフトウェア開発ワークフローにますます参加している。 エージェントが既存のパッケージを幻覚させると、攻撃者は幻覚した名前を登録し、インストールしたユーザを妥協する。 既存のパッケージ幻覚攻撃と防御は主に自然に発生する幻覚、ターゲットとなる依存性のステアリング、あるいはポストホックパッケージの検証に焦点を当てている。 本稿では, 暗黙の意図を含まずに, パッケージの幻覚の再現性を高めること, 想像力や徹底性の促進, パッケージの幻覚の再現性を向上する, 極めてステルス性の高い攻撃パラダイムである \emph{Neutral Prompting Attack} (NPA) を紹介する。 ターゲットとなる依存性のステアリングとは異なり、NPAはアタッカー-チョーゼンパッケージを指定していない。 代わりに、モデルの依存性生成の振る舞いを、より投機的なパッケージ名にシフトさせる。 複数のコーディング指向LLMおよびパッケージ幻覚ベンチマークにおけるNPAの評価を行った。 以上の結果から,NPA は \emph{Hallucination ASR} と \emph{Pip Install ASR} をともに増加させ,幻覚パッケージ名の分布を変化させ,既存の静的解析や LLM ベース,エージェントベースのスキルディフェンスを回避した。 これらの結果から、無害なプロンプトが幻覚を隠蔽し、下流のソフトウェアサプライチェーンのリスクを生じさせることが明らかとなった。

関連論文リスト

• Trust Me, Import This: Dependency Steering Attacks via Malicious Agent Skills [25.627983175254958]
  本稿では、悪意あるSkillがコーディングエージェントを攻撃者制御パッケージにバイアスする攻撃パラダイムであるDependency Steeringを紹介する。 この結果から,永続的なエージェント命令がソフトウェアのサプライチェーンアタックサーフェスを形成することが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-10T15:13:38Z)
• SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
  エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。 フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。 本手法は,現実的な環境下で高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-15T16:09:48Z)
• A Systematic Literature Review of Code Hallucinations in LLMs: Characterization, Mitigation Methods, Challenges, and Future Directions for Reliable AI [54.34738767990601]
  大規模言語モデルがソフトウェアエンジニアリングタスクに統合されるにつれ、コードの幻覚の理解と緩和が不可欠になる。 コード指向LLMにおける幻覚現象を4つの重要な観点から体系的に検討する。
  論文  参考訳（メタデータ） (2025-11-02T02:58:41Z)
• Mitigating Hallucinations in Multimodal LLMs via Object-aware Preference Optimization [55.543583937522804]
  MLLM(Multimodal Large Language Models)は、様々なタスクに対処するための統一インターフェースとして登場した。 多くのベンチマークで最先端の結果が誇示されているにもかかわらず、長年の問題はMLLMが幻覚を起こす傾向にある。 本稿では,幻覚の問題をアライメント問題として取り上げ,幻覚を伴わないコンテンツを生成するためのMLLMのステアリングを試みる。
  論文  参考訳（メタデータ） (2025-08-27T18:02:04Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Importing Phantoms: Measuring LLM Package Hallucination Vulnerabilities [11.868859925111561]
  大規模言語モデル(LLM)はプログラマのツールキットに不可欠なツールとなっている。 コードを幻覚させる傾向は、悪意あるアクターがソフトウェアサプライチェーンの広い範囲に脆弱性を導入するために利用することができる。
  論文  参考訳（メタデータ） (2025-01-31T10:26:18Z)
• We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs [3.515912713354746]
  パッケージ幻覚は、大規模な言語モデルを使用してコードを生成する際に、ファクトコンフリクトのエラーから生じる。 本稿では,プログラム言語間におけるパッケージ幻覚の厳密かつ包括的評価を行う。 幻覚パッケージの平均パーセンテージは、商用モデルでは少なくとも5.2%、オープンソースモデルでは21.7%である。
  論文  参考訳（メタデータ） (2024-06-12T03:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。