論文の概要: Characterizing and Defending Utility-Hijacking in Instruction-Tuning Data Selection

• arxiv url: http://arxiv.org/abs/2610.29886v1
• Date: Wed, 21 Oct 2026 15:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.392051
• Title: Characterizing and Defending Utility-Hijacking in Instruction-Tuning Data Selection
• Title（参考訳）: インストラクション・チューニングデータ選択におけるユーティリティハイジャックの特性と有効性
• Abstract要約: ユーティリティ指向の命令データセレクタに対するアダプティブサプライヤ側攻撃に関する最初の体系的研究を行う。 ユーティリティハイジャックは、悪意のあるペイロードを保持しながらセレクタと互換性を保つために有害なレコードを形作る。 本報告では,コンテンツ検出や毒のラベルを含まないターゲットディフェンスであるCONCERTを提案する。
• 参考スコア（独自算出の注目度）: 7.271836771284143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-data selectors choose which instruction-following records are used for fine-tuning, improving alignment quality, raising training efficiency, and filtering out harmful records. A selector's choices thus directly affect the fine-tuned model's safety, yet despite their widespread use, the security of these selectors remains under-studied. We conduct the first systematic study of adaptive supplier-side attacks against utility-oriented instruction-data selectors and introduce utility-hijacking. Utility-hijacking shapes harmful records to remain compatible with a selector while preserving their malicious payload, causing top-k selection to concentrate rather than filter the poison. Achieving both is non-trivial, because optimizing a record for score tends to wash out its payload, while bluntly preserving the payload makes the record look low-value. Our generate-and-rerank procedure generates, per instruction, many payload-bearing candidates and submits only the highest-scoring survivor. Evaluated across three payloads (over-refusal, false-fact injection, and insecure code), six selectors, and victim models from Qwen2.5-7B to Qwen3-32B, utility-hijacking drives refusal from 0% to 94% and insecure code up to 56/90, while false-fact enrichment intensifies with scoring-model scale from 2.84x to 7.04x. To defend against this attack, we propose CONCERT, a targeted defense needing no content detector or poison labels. It flags suppliers selected far more often than chance allows, then re-selects under the same budget, keeping only records that two dissimilar selectors both rank highly. On a Qwen3-32B victim, CONCERT reverses the poison concentration from 6.67x to 0x (code) and 3.59x to 0.67x (facts), and reduces downstream harm by 100% and 75% respectively, at unchanged capability.
• Abstract（参考訳）: インストラクションデータセレクタは、微調整、アライメント品質の向上、トレーニング効率の向上、有害なレコードのフィルタリングに使用する命令追跡レコードを選択する。 そのため、セレクタの選択は微調整されたモデルの安全性に直接影響するが、広く使われているにもかかわらず、これらのセレクタのセキュリティは未調査のままである。 ユーティリティ指向の命令データセレクタに対するアダプティブ・サプライヤ側攻撃に関する最初の体系的研究を行い、ユーティリティ・ヒジャックを導入する。 ユーティリティハイジャックは、悪意のあるペイロードを保持しながらセレクタと互換性を保つために有害なレコードを形作る。 スコアのためにレコードを最適化することはペイロードを洗い流す傾向があり、ペイロードを不安定に保存することはレコードを低い値に見せるため、両方の達成は簡単ではない。 我々の生成・再帰手順は、命令ごとに多くのペイロードを持つ候補を生成し、最上位のサバイバルのみを提出する。 Qwen2.5-7BからQwen3-32Bまでの6つのセレクタと犠牲者モデルで評価され、ユーティリティハイジャックは0%から94%、安全でないコードは56/90まで、偽ファクトの濃縮は2.84xから7.04xのスコアモデルスケールで強化された。 この攻撃を防ぎつつ,コンテンツ検出や毒のラベルを必要としないターゲットディフェンスであるCONCERTを提案する。 選択されたサプライヤーを、偶然よりもはるかに頻繁にフラグ付けし、同じ予算で再選し、2つの異なるセレクターが上位にランクする記録のみを保持する。 Qwen3-32B の犠牲者では、CONCERT は毒濃度を 6.67x から 0x (コード) と 3.59x から 0.67x (ファクト) に反転させ、下流の害を 100% と 75% に減少させる。

関連論文リスト

• Trigger Value Selection in Clean-Label Malware Backdoors: An Effectiveness-Detectability Analysis [0.6524460254566904]
  クリーンラベルバックドア攻撃における独立設計因子としてのトリガ値選択について検討した。 我々は、良性サンプリングの下で、希少値、SHAPベース、周波数バウンド、共起認識、および量子ベースのセレクタを比較した。
  論文  参考訳（メタデータ） (2026-10-15T05:03:25Z)
• Poisoned into Action: Context Attacks on Typed Decision Workflows [1.729483479508797]
  本稿では, 検索, モデル選択, 自動動作, 持続状態を通じて, 有毒な証拠をトレースする実行対応プロトコルを提案する。 正しいエビデンスを加えることで、セマンティックアームの119/120から55/120、中性アームの60/120から0への間違った実行が減少することを示す。 このプロトコルは、汚染によって引き起こされるエラーが実行に到達し、どの程度の正確な自動化防御が保持されるかを研究するための監査可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-10-11T11:19:01Z)
• Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
  証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。 我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
  論文  参考訳（メタデータ） (2026-09-27T13:01:02Z)
• Mark, Don't Erase: Token Inoculation for Dual-Use Knowledge in LLMs [54.96236442484317]
  リスクのある知識はモデルに保持でき、特権制御トークンによって行動的に守られることを示す。 Token Inoculation という手法はバインディング・アンド・ブランチ方式を導入している。
  論文  参考訳（メタデータ） (2026-07-21T02:15:39Z)
• Fuzzing Large Language Models to Elicit Hidden Behaviours [0.0]
  ファジィング(fuzzing)とは、モデルの重みや残ストリームの活性化にガウスノイズを注入することである。 両形態のファジングヘッドと温度サンプルベースラインを比較した。 私たちの知る限り、これは睡眠中のバックドアのファジングに関する最初の体系的な研究である。
  論文  参考訳（メタデータ） (2026-06-28T23:35:28Z)
• Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift [0.0]
  私は、ProtectAI-v2とPrompt-Guard-2チェックポイントの3つの放出検出器を1つのソース校正閾値で評価した。 重大度指標Sを報告し、検知器が犯した攻撃に対する自信と、偽陰性率と差別を報告します。 3つとも間接的行動ヒジャック注入を確実に通過し、2つのベンダーに共通する盲点と4倍の大きさの範囲を達成します。
  論文  参考訳（メタデータ） (2026-06-21T20:30:12Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• Protecting Model Adaptation from Trojans in the Unlabeled Data [120.42853706967188]
  本稿では,よく設計された毒物標的データによるモデル適応に対するトロイの木馬攻撃の可能性について検討する。 本稿では,既存の適応アルゴリズムとシームレスに統合可能なDiffAdaptというプラグイン・アンド・プレイ手法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T16:42:10Z)
• Certifying LLM Safety against Adversarial Prompting [70.96868018621167]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。