論文の概要: Decision Hijacking: Prompt Injection Attacks on Jev's Typed Probabilistic Decisions
- arxiv url: http://arxiv.org/abs/2609.28613v1
- Date: Wed, 23 Sep 2026 17:47:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.453022
- Title: Decision Hijacking: Prompt Injection Attacks on Jev's Typed Probabilistic Decisions
- Title(参考訳): 決定的ハイジャック:Jev型確率的決定に対するプロンプトインジェクションアタック
- Abstract要約: 悪意のあるコンテンツはアクション確率をシフトさせるが、Jevが攻撃者のターゲットを選択することは滅多にない。
510例のInjecAgentを用いた非生成決定モデルであるJevにおけるこれらの効果について検討した。
- 参考スコア(独自算出の注目度): 5.43110904333163
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most studies of prompt injection focus on generative agents, leaving their effects on models with schema-defined outputs unclear. We examine these effects in Jev, a non-generative decision model, using 510 reconstructed InjecAgent cases. Malicious content shifts action probabilities but rarely causes Jev to select the attacker's target. Override markers reduce this influence, while claims of contextual relatedness have small effects. Adaptive attacks using score feedback double the mean highest attacker-target probability found during optimization, while success on fresh validation calls rises from 1.8% to 3.5%. Exploratory analysis links these successes to small initial decision margins or greater attacker control over the observation. Together, these findings show that schema-defined outputs change but do not eliminate prompt-injection risk, highlighting the need to evaluate how untrusted content influences choices within the allowed action set.
- Abstract(参考訳): プロンプトインジェクションのほとんどの研究は生成エージェントに焦点をあて、スキーマ定義された出力を持つモデルにその影響を残している。
510例のInjecAgentを用いた非生成決定モデルであるJevにおけるこれらの効果について検討した。
悪意のあるコンテンツはアクション確率をシフトさせるが、Jevが攻撃者のターゲットを選択することは滅多にない。
オーバーライドマーカーはこの影響を減らし、文脈的関連性の主張には小さな効果がある。
スコアフィードバックを用いたアダプティブアタックは、最適化中に見つかった攻撃目標確率の平均を2倍にし、新しいバリデーションコールの成功率は1.8%から3.5%に上昇する。
探索的分析は、これらの成功を小さな初期決定マージンまたはより大きな攻撃者による観察制御と関連づける。
これらの結果から,スキーマ定義された出力が変化するが,迅速なインジェクションリスクを排除せず,信頼できないコンテンツが許容されたアクションセット内の選択にどのように影響するかを評価する必要性が浮き彫りになった。
関連論文リスト
- Decision-Level Hijacking: Injecting Cognitive Bias into Large Language Models via Bit-Flip Attacks [45.528190718580724]
Bit-Flip攻撃は、決定レベルのハイジャックを誘導するアタックベクターとして機能する。
CogBiasは、大規模言語モデルのための認知バイアス注入フレームワークである。
論文 参考訳(メタデータ) (2026-07-28T02:59:32Z) - Attention Hijacking: Response Manipulation Across Queries in Vision-Language Models [57.870323273127234]
本研究の目的は,画像の持続的支配パターンに対して内的注意を喚起する新たな敵攻撃であるtextbfAttention Hijacking を提案することである。
提案手法は,クエリの特定の単語に対する操作された出力の依存性を低減する。
論文 参考訳(メタデータ) (2026-05-17T08:02:27Z) - Trapping Attacker in Dilemma: Examining Internal Correlations and External Influences of Trigger for Defending GNN Backdoors [6.343815622517112]
提案するPRAETORIANは,有効なGNNバックドアの本質的な要求をターゲットとした,新たな防衛法である。
私たちのキーとなる観察は、被害者ノードの予測をひっくり返すには、被害者に大きな影響を与える必要があるということです。
評価全体では、PRAETORIANは平均攻撃成功率(ASR)を0.55%まで下げるが、精度は0.62%しか低下しない(CA)。
論文 参考訳(メタデータ) (2026-05-08T07:02:25Z) - Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文 参考訳(メタデータ) (2026-03-19T10:40:27Z) - Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。
我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。
検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
論文 参考訳(メタデータ) (2024-11-21T17:46:55Z) - CausalDiff: Causality-Inspired Disentanglement via Diffusion Model for Adversarial Defense [61.78357530675446]
人間は、本質的な要因のみに基づいて判断するので、微妙な操作によって騙されるのは難しい。
この観察に触発されて、本質的なラベル因果因子を用いたラベル生成をモデル化し、ラベル非因果因子を組み込んでデータ生成を支援する。
逆の例では、摂動を非因果因子として識別し、ラベル因果因子のみに基づいて予測することを目的としている。
論文 参考訳(メタデータ) (2024-10-30T15:06:44Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳(メタデータ) (2024-09-26T21:00:45Z) - Data-Efficient Backdoor Attacks [14.230326737098554]
ディープニューラルネットワークはバックドア攻撃に弱い。
本稿では,その選択による毒性データ効率の向上について定式化する。
同じ攻撃成功率は、有毒サンプル量のわずか47%から75%で達成できる。
論文 参考訳(メタデータ) (2022-04-22T09:52:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。