論文の概要: Fuzzing Large Language Models to Elicit Hidden Behaviours

• arxiv url: http://arxiv.org/abs/2606.29646v1
• Date: Sun, 28 Jun 2026 23:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.99678
• Title: Fuzzing Large Language Models to Elicit Hidden Behaviours
• Title（参考訳）: 大規模言語モデルから隠れた振る舞いを取り除く
• Abstract要約: ファジィング(fuzzing)とは、モデルの重みや残ストリームの活性化にガウスノイズを注入することである。 両形態のファジングヘッドと温度サンプルベースラインを比較した。 私たちの知る限り、これは睡眠中のバックドアのファジングに関する最初の体系的な研究である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sleeper agents are the canonical model organism of deception: models trained to behave normally but to emit an unsafe behaviour on a specific trigger. Eliciting that behaviour without knowing the trigger has not been studied systematically. We study fuzzing: injecting Gaussian noise into a model's weights or residual-stream activations and checking whether the perturbed outputs reveal the behaviour. On 6 backdoored models (7B-13B) we compare both forms of fuzzing head-to-head against temperature-sampling baselines. Fuzzing elicits the hidden behaviour more often than temperature sampling on 4 of 6 models (up to ~6x on OpenHermes-13B), and which form wins depends on the task, so both are worth running. Elicitation is uneven across each method's hyperparameter grid: a uniform sweep gives only a few percent on most models, while the best cell is 2-10x higher, so the bottleneck is hyperparameter selection, not the technique. To select hyperparameters without ground-truth access, we use a cheap proxy task (in-context secret elicitation, where a base64-encoded secret is placed in the system prompt for the model to hide) and run Thompson sampling on it to pick candidate cells, which we evaluate on the real backdoor. On the four models that can decode the secret, proxy-selected cells raise activation-fuzzing elicitation ~4x over the uniform-sweep mean (recovering ~70% of the best-cell rate on the best performing model) and weight-fuzzing by 1.3-1.8x. To our knowledge this is the first systematic study of fuzzing on sleeper-agent backdoors and the first to show proxy-task hyperparameter selection transferring to real-task elicitation. We also propose reporting such results as a (uniform-baseline, proxy-selected, oracle) triple, since these are three distinct claims that prior work has often blurred.
• Abstract（参考訳）: 睡眠薬は、正常に振る舞うように訓練されたモデルで、特定のトリガーに安全でない振舞を放出する。 引き金を知ることなくその行動を緩和することは、体系的に研究されていない。 モデルの重みや残差ストリームの活性化にガウスノイズを注入し、摂動出力が振る舞いを明らかにするかどうかを確認する。 6つのバックドアモデル(7B-13B)では、ファジリングヘッドと温度サンプルベースラインを比較した。 ファジィングは6つのモデルのうち4つ(OpenHermes-13Bの最大6倍)の温度サンプリングよりも隠れた振る舞いを頻繁に引き起こします。 均一なスイープはほとんどのモデルでわずか数パーセントしか与えず、最高のセルは2～10倍高いため、ボトルネックはハイパーパラメータの選択であり、テクニックではない。 地平線アクセスなしでハイパーパラメータを選択するには、安価なプロキシタスク(コンテキスト内シークレット、ベース64エンコードされたシークレットをシステムに配置して隠蔽するシステム)を使い、トンプソンサンプリングを実行して候補細胞を選択し、実際のバックドアで評価する。 シークレットをデコードできる4つのモデルでは、プロキシ選択された細胞はアクティベーション・ファズング・エリケーション ~4x を、均一なスウィープ平均(最高のパフォーマンスモデルで最高のセルレートの70%を回復)と重量・ファズリング 1.3-1.8x で増加させる。 我々の知る限り、これは睡眠中のバックドアをファジリングする最初の体系的研究であり、プロキシ・タスク・ハイパーパラメータ選択がリアル・タスク・エリケーションに転送されることを示す最初の体系的な研究である。 また、前処理がしばしばぼやけているという3つの異なる主張であるため、(ユニフォームベースライン、プロキシ選択、オラクル)トリプルのような結果の報告も提案する。

関連論文リスト

• Selective Disclosure of Hidden Directives in Reasoning Models: Behavioral Asymmetry and Steering [0.9474649136535703]
  思考の連鎖(CoT)推論トレースは、AI監視のメカニズムとしてますます提案されている。 これは、CoTが与えられた命令に関係なく、モデルに何を指示するかを仮定する。 この仮定を2つの軸で検証する。
  論文  参考訳（メタデータ） (2026-08-29T05:50:54Z)
• Inadvertent Context Leakage in Language Models [44.48836485611056]
  AIエージェントが単純なチャットを超えて有用であるためには、カレンダー、資格情報、健康記録、財務データなどの機密性の高いユーザコンテキストを保持する必要がある。 モデルコンテキストウィンドウにそのようなシークレットが存在するだけで、モデルの良質な出力に隠れた相関がもたらされるかどうかを考察する。 この制限されたリークは、ブラックボックスが基盤となるモデルにアクセスできることを前提とした、新しい適応攻撃によって悪用されることを示す。
  論文  参考訳（メタデータ） (2026-08-20T10:05:29Z)
• Benchmarking Quantum Machine Learning for Power-System Attack Detection: Evaluation Choices Decide the Outcome Before the Models Do [0.0]
  我々は、チューニングされた古典モデルに対する電力システムサイバーアタックのための機械学習検出器をベンチマークする。 ベンチマークの回答は、モデルの前に評価者の選択によって設定される。 正の制御では、正確さはnullである: ラベルはパイプラインではなくパイプラインである。
  論文  参考訳（メタデータ） (2026-08-16T08:32:39Z)
• An Embarrassingly Simple Detector for Model Extraction Attacks in Large Language Model API Traffic [16.151531550259993]
  大規模言語モデル(LLM)はホストAPIを通じてますますデプロイされ、モデルの抽出がモデルのオーナシップとサービスのセキュリティに対する現実的な脅威となる。 我々は、良性キャリブレーションされた交通窓分布試験としてモデル抽出監視を定式化する。 入力クエリをセマンティック空間に埋め込み、それらの集合分布が過去の良性トラフィックから逸脱するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-04T05:33:49Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• REALM: Reliable Expertise-Aware Language Model Fine-Tuning from Noisy Annotations [13.49289449502791]
  本稿では,各アノテータに対して,モデルパラメータとスカラーの専門知識値を相互に学習するREALMを提案する。 我々は,Flan-T5の3つのサイズをシミュレートされたノイズアノテーションの下で微調整した5つの質問応答ベンチマークを評価した。 提案アルゴリズムは、単一タスクとマルチタスク設定の大部分において、ノイズの多いSFTを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-19T07:06:35Z)
• BadSkill: Backdoor Attacks on Agent Skills via Model-in-Skill Poisoning [34.60596020541521]
  我々はBadSkillを紹介します。BadSkillは、モデル・イン・スキル脅威サーフェスをターゲットとするバックドア攻撃の定式化です。 BadSkillでは、敵が隠れペイロードをアクティベートするために、組み込まれたモデルがバックドアで調整された、一見良心的なスキルを公開している。 ベンチマークは8つのトリガータスクと5つの非トリガー制御スキルを含む13のスキルにまたがっており、主な評価セットは571の負のクラスクエリと396のトリガー整列クエリである。 BadSkillは8つのトリガースキルの平均攻撃成功率(ASR)を99.5%まで達成し、負のクラスのクエリに対して強い良識的な精度を維持している。
  論文  参考訳（メタデータ） (2026-04-10T14:48:29Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• The Trigger in the Haystack: Extracting and Reconstructing LLM Backdoor Triggers [2.2374050209578864]
  本稿では、因果言語モデルにおける睡眠エージェントスタイルのバックドアを特定するための実用的なスキャナを提案する。 まず、睡眠薬は中毒データを記憶する傾向があるため、バックドアのサンプルを漏らすことが可能です。 提案手法は,複数のバックドアシナリオと広範囲のモデルにまたがる動作トリガを復元することを示す。
  論文  参考訳（メタデータ） (2026-02-03T04:17:21Z)
• Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
  信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。 既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。 このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
  論文  参考訳（メタデータ） (2025-11-29T06:20:00Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Defense Against Model Extraction Attacks on Recommender Systems [53.127820987326295]
  本稿では、モデル抽出攻撃に対するリコメンデータシステムに対する防御のために、グラディエントベースのランキング最適化(GRO)を導入する。 GROは、攻撃者の代理モデルの損失を最大化しながら、保護対象モデルの損失を最小限にすることを目的としている。 その結果,モデル抽出攻撃に対するGROの防御効果は良好であった。
  論文  参考訳（メタデータ） (2023-10-25T03:30:42Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Cryptanalytic Extraction of Neural Network Models [56.738871473622865]
  遠隔モデルのパラメータを浮動小数点精度まで効率的に盗むことができる差動攻撃を導入する。 我々の攻撃は、ReLUニューラルネットワークが一括線形関数であるという事実に依存している。 220倍の正確さと100倍のクエリを必要とするモデルを抽出する。
  論文  参考訳（メタデータ） (2020-03-10T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。