論文の概要: Localize-and-Detect: Auditing Task-Level Poisoning in Instruction-Tuned Models
- arxiv url: http://arxiv.org/abs/2610.03960v1
- Date: Fri, 02 Oct 2026 19:13:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 21:22:12.107314
- Title: Localize-and-Detect: Auditing Task-Level Poisoning in Instruction-Tuned Models
- Title（参考訳）: ローカライズ・アンド・ディテクト:授業調整モデルにおけるタスクレベルポジショニングの監査
- Abstract要約: タスクレベルの中毒は、ターゲットタスク上で攻撃者が特定した偏見のあるコンテンツを生成するために微調整を悪用する。
タスクレベル中毒に対する2段階のブラックボックス監査手法であるLocalize-and-Detectを紹介する。
そこで我々は、Localize-and-Detectがターゲットタスクを効果的にローカライズし、有害な設定やモデルでバイアスのあるコンテンツを検出することができることを示す。
- 参考スコア（独自算出の注目度）: 13.545546883419426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Instruction fine-tuning adapts a pretrained language model to follow instructions by training it on instruction--response pairs from a collection of tasks, such as summarization and question answering. Task-level poisoning exploits this task structure to manipulate the fine-tuned model into producing attacker-specified biased content on a particular target task, without requiring an explicit input trigger. Detecting such attacks is challenging because there is no explicit trigger to identify, the target task and biased content are unknown, and benign fine-tuning itself changes model behavior. We introduce Localize-and-Detect, a two-stage black-box auditing method for task-level poisoning that requires only outputs from both the base and fine-tuned models. In the first stage, we localize the target task by identifying candidate tasks on which the fine-tuned and base models have the largest differences in their next-token distributions. In the second stage, we search the shortlisted tasks for biased content that repeatedly appears in the fine-tuned model's responses but not in those of the base model. We evaluate Localize-and-Detect on 216 poisoned models across two model families, varying the target task, poisoning mode, poison budget, and type of biased content. Our evaluation demonstrates that Localize-and-Detect can effectively localize target tasks and detect biased content across a range of poisoning settings and models, with detection that tracks attack success and few false positives on clean models.
- Abstract（参考訳）: インストラクションの微調整は、訓練済みの言語モデルに適応し、インストラクションをトレーニングすることで命令に従う。
タスクレベルの毒は、このタスク構造を利用して微調整されたモデルを操作し、明示的な入力トリガを必要とせず、特定のタスクに対して攻撃者が特定した偏見のあるコンテンツを生成する。
このような攻撃を検出することは、明示的なトリガーがないこと、ターゲットタスクとバイアスのあるコンテンツが不明であること、微調整自体がモデル動作を変えること、など、難しい。
そこで我々は,2段階のブラックボックス監査手法であるLocalize-and-Detectを紹介した。
第1段階では,細調整されたモデルとベースモデルが最も大きな差がある候補タスクを同定することにより,対象タスクのローカライズを行う。
第2段階では、細調整されたモデルの応答に繰り返し現れるが、ベースモデルの応答には現れないバイアス付きコンテンツに対するショートリストタスクを探索する。
対象課題,中毒モード,中毒予算,偏りのある内容の種類,および2つのモデル群にわたる216種類の有毒モデルに対する局所性および検出性の評価を行った。
評価の結果、Localize-and-Detectは標的のタスクを効果的にローカライズし、有害な設定やモデルに偏りのあるコンテンツを検出できることがわかった。
関連論文リスト
- Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。
提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。
そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
論文 参考訳（メタデータ） (2026-02-01T17:29:43Z) - Thought-Transfer: Indirect Targeted Poisoning Attacks on Chain-of-Thought Reasoning Models [46.18909391478578]
CoT(Chain-of-Thought)推論は,大規模言語モデルの能力向上のための強力なテクニックとして登場した。
我々の研究は、推論モデルにおける新しいタイプの間接的ターゲット・ポジショニング攻撃を公表した。
論文 参考訳（メタデータ） (2026-01-27T00:46:24Z) - Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。
統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。
本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
論文 参考訳（メタデータ） (2025-10-16T14:02:57Z) - Reliable Few-shot Learning under Dual Noises [166.53173694689693]
そこで我々はDETA++(Denoized Task Adaptation)を提案する。
DETA++はメモリバンクを使用して、各インナータスククラスのクリーンなリージョンを格納し、精製する。
大規模な実験は、DETA++の有効性と柔軟性を示している。
論文 参考訳（メタデータ） (2025-06-19T14:05:57Z) - Classifier-to-Bias: Toward Unsupervised Automatic Bias Detection for Visual Classifiers [25.909153114646692]
既存のバイアス識別のアプローチは、関心のあるタスクのラベルを含むデータセットに依存している。
ラベル付きデータにアクセスせずに動作する最初のバイアス発見フレームワークである-to-Bias(C2B)を提示する。
C2Bはトレーニング不要で、アノテーションを一切必要とせず、バイアスのリストに制約がなく、任意の分類タスクで事前訓練されたモデルに適用できる。
論文 参考訳（メタデータ） (2025-04-29T16:19:38Z) - Model X-ray:Detecting Backdoored Models via Decision Boundary [62.675297418960355]
バックドア攻撃はディープニューラルネットワーク(DNN)に重大な脆弱性をもたらす
図形化された2次元(2次元)決定境界の解析に基づく新しいバックドア検出手法であるモデルX線を提案する。
提案手法は,クリーンサンプルが支配する意思決定領域とラベル分布の集中度に着目した2つの戦略を含む。
論文 参考訳（メタデータ） (2024-02-27T12:42:07Z) - Joint Multiple Intent Detection and Slot Filling with Supervised
Contrastive Learning and Self-Distillation [4.123763595394021]
複数の意図の検出とスロットフィリングは、音声言語理解における基本的かつ重要なタスクである。
インテントを同時に検出し、スロットを抽出できるジョイントモデルが好ましい。
本稿では,これらの課題に対処して複数の意図の検出とスロットフィリングを行う手法を提案する。
論文 参考訳（メタデータ） (2023-08-28T15:36:33Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳（メタデータ） (2021-01-24T22:57:19Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。