論文の概要: Weight Oracles: Reading Neural Network Weights with Language Models

• arxiv url: http://arxiv.org/abs/2610.07334v1
• Date: Mon, 05 Oct 2026 20:08:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.640329
• Title: Weight Oracles: Reading Neural Network Weights with Language Models
• Title（参考訳）: ウェイトオラクル:言語モデルでニューラルネットワークのウェイトを読む
• Abstract要約: 対象ネットワークの特性を直接読み取ることで,その特性を診断する,微調整言語モデルであるWeight Oraclesを提案する。 我々は、良性病理のみを訓練信号として用いて、ウェイト異常に関する自然言語診断問題に関するオラクルを訓練する。 オラクルはAUROC 0.93を注意を引いたバックドアで達成し、0.81を多様な脅威分布で達成している。
• 参考スコア（独自算出の注目度）: 0.5019453901513783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretability methods for neural networks are predominantly reactive: they analyse activations produced during specific forward passes, requiring known inputs to find hidden capabilities such as backdoors. We propose Weight Oracles, fine-tuned language models that diagnose properties of a target network by reading its raw weights directly, without behavioural testing. We investigate this paradigm in two phases. Phase I establishes feasibility: through a staged curriculum and an external chain-of-computation that delegates parameter-free operations to deterministic code, an explainer LLM learns to simulate the forward pass of small transformers from their weights, achieving 99% holdout accuracy on unseen targets. Phase II repurposes this infrastructure for safety auditing. We train an oracle on natural language diagnostic questions about weight anomalies using only benign pathologies as training signal, and evaluate it zero-shot on backdoors absent from training. The oracle achieves AUROC 0.93 on attention-routed backdoors and 0.81 across a diversified threat distribution including stealth and adversarially regularized variants. Hand-crafted statistical detectors are sharp on the threat models they implicitly target but collapse on threat-model shift, while the oracle remains uniformly competent across attack types. Scaling to realistic model sizes remains the principal open challenge.
• Abstract（参考訳）: ニューラルネットワークの解釈可能性メソッドは、主にリアクティブであり、特定のフォワードパス中に生成されたアクティベーションを分析し、バックドアのような隠れた機能を見つけるために既知の入力を必要とする。 本稿では,対象ネットワークの特性を,動作テストなしで直接読み取ることで,その特性を診断する言語モデルであるWeight Oraclesを提案する。 このパラダイムを2つのフェーズで検討する。 第1相は、パラメータフリーな演算を決定論的コードに委譲する段階的なカリキュラムと外部計算の連鎖を通じて、小さな変換器の前方通過を重みからシミュレートすることを学び、目に見えない目標に対して99%の精度で保持する。 第2段階はこのインフラを安全監査のために再利用する。 本研究は,学習信号として良性病理のみを用いて,ウェイト異常に関する自然言語診断問題に関するオラクルを訓練し,訓練対象外のバックドアでゼロショットの評価を行う。 AUROC 0.93は注意を引いたバックドアで達成され、ステルスや逆正則の変種を含む多様な脅威分布で0.81である。 手作りの統計検出器は、彼らが暗黙的に狙う脅威モデルに鋭いが、脅威モデルシフトで崩壊する。 現実的なモデルサイズへのスケーリングは、依然として主要なオープンチャレンジです。

関連論文リスト

• EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy [66.59724477993339]
  LVLM(Large Vision-Language Models)は、様々なタスクにまたがる優れた能力を示すが、バックドア攻撃には弱い。 本稿では,LVLMにおけるモデルレベルのバックドア検出のための軽量かつトリガに依存しないEntropyScanを提案する。 私たちのコードはまもなく公開されます。
  論文  参考訳（メタデータ） (2026-05-15T08:01:32Z)
• Scaling Exposes the Trigger: Input-Level Backdoor Detection in Text-to-Image Diffusion Models via Cross-Attention Scaling [12.573852448122716]
  テキスト・ツー・イメージ(T2I)拡散モデルは画像合成において顕著な成功を収めているが、大規模データやオープンエコシステムへの依存は深刻なバックドアセキュリティリスクをもたらす。 既存の防御、特に入力レベルメソッドは、より実用的だが、しばしばステルスでセマンティクスを保存するトリガー設計の下で信頼性が低い観測可能な異常に頼っている。 入力レベルのバックドア検出フレームワークであるSETを提案する。これはマルチスケールの摂動下で応答オフセット機能を構築し、小さなクリーンなサンプル集合からコンパクトな良性応答空間を学習する。
  論文  参考訳（メタデータ） (2026-04-14T08:31:37Z)
• Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
  信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。 既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。 このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
  論文  参考訳（メタデータ） (2025-11-29T06:20:00Z)
• Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs [27.544312683007234]
  細調整された大言語モデル(LLM)の理解・監視・制御のための新しい手法を提案する。 微調整モデルとそのベースモデルの間の重み差のトップ特異点が,新たに獲得した挙動に対応することを示す。 シークレットトリガーが存在する場合の安全メカニズムをバイパスするバックドアモデルでは、我々の手法は1.2%以下の偽陽性率で攻撃の最大100%を停止する。
  論文  参考訳（メタデータ） (2025-07-31T21:04:12Z)
• Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
  半正直な設定で一貫したバックドア検出フレームワークを提案する。 本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。 特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-03-21T06:12:06Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Evolutionary Trigger Detection and Lightweight Model Repair Based Backdoor Defense [10.310546695762467]
  ディープニューラルネットワーク(DNN)は、自律運転や顔認識など、多くの分野で広く利用されている。 DNNモデルのバックドアは、トリガーによる有毒な入力によってアクティベートされ、誤った予測につながる。 進化的トリガ検出と軽量モデル修復に基づく効率的なバックドア防御を提案する。
  論文  参考訳（メタデータ） (2024-07-07T14:50:59Z)
• Imperceptible Backdoor Attack: From Input Space to Feature Representation [24.82632240825927]
  バックドア攻撃はディープニューラルネットワーク(DNN)への脅威が急速に高まっている 本稿では,既存の攻撃手法の欠点を分析し,新たな非受容的バックドア攻撃を提案する。 我々のトリガーは、良性画像の1%以下のピクセルしか変更せず、大きさは1。
  論文  参考訳（メタデータ） (2022-05-06T13:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。