論文の概要: CircuitBreak: Pruning a Sparse Safety Circuit of Neurons

• arxiv url: http://arxiv.org/abs/2610.16470v1
• Date: Mon, 12 Oct 2026 09:24:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 23:03:19.294946
• Title: CircuitBreak: Pruning a Sparse Safety Circuit of Neurons
• Title（参考訳）: CircuitBreak: ニューロンのスパースセーフサーキットを動作させる
• Abstract要約: ホワイトボックスニューロンプルーニングは、大きな言語モデルでの拒絶は、小さな、取り外し可能なフィードフォワードチャネルのセットに依存する可能性があることを示した。 FFNニューロンのスパース集合を鮮やかに検索するニューロン切断攻撃であるtextscCircuitBreakを提案する。
• 参考スコア（独自算出の注目度）: 0.15749416770494704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: White-box neuron pruning has shown that refusal in large language models (LLMs) can depend on a small, removable set of feed-forward (FFN) channels. Existing attacks either need carefully paired ``twin'' prompts or score each neuron in isolation. Pruning also has an unavoidable capability cost, so over-removal compounds the loss. TwinBreak removes $1\%$--$5\%$ of parameters and NeuroStrike removes $0.3\%$--$0.7\%$ of neurons in targeted layers. We model safety as a small \emph{circuit} whose neurons contribute jointly rather than independently. We propose \textsc{CircuitBreak}, a neuron-pruning attack that greedily searches for a sparse set of FFN neurons whose joint ablation flips a refusal readout. \textsc{CircuitBreak} re-scores every candidate after the neurons already removed and needs no twin prompts. On ten instruction-tuned models, the greedy search converges after removing $29$--$150$ neurons ($0.0066\%$--$0.0388\%$ of the MLP). The pruned models raise the attack success rate from $2.24\%$/$7.35\%$ to $87.54\%$/$87.54\%$ on Llama-3.2-3B-Instruct/Llama-3.1-8B-Instruct and from $8.95\%$/$5.43\%$ to $88.50\%$/$88.18\%$ on Qwen2.5-7B-Instruct/Qwen2.5-14B-Instruct, as judged by Llama Guard 3 8B on StrongREJECT.
• Abstract（参考訳）: ホワイトボックスニューロンプルーニングは、大きな言語モデル(LLM)の拒絶は、小さな、取り外し可能なフィードフォワードチャネル(FFN)に依存していることを示した。 既存の攻撃には '`twin'' プロンプトを慎重にペアリングするか、個別に各ニューロンをスコアリングする必要がある。 プルーニングは避けられない性能のコストも伴うため、過剰に除去された化合物は損失を減少させる。 TwinBreakはパラメータの$1\%$-$5\%$を除去し、NeuroStrikeはターゲット層内のニューロンの$0.3\%$--$0.7\%を除去する。 我々は、神経細胞が独立ではなく共同で寄与する小さな \emph{circuit} として安全性をモデル化する。 本稿では, 関節アブレーションが拒絶読出を反転させるFFNニューロンのスパース集合を欲しがって探索するニューロン切断攻撃である, textsc{CircuitBreak}を提案する。 \textsc{CircuitBreak} は、ニューロンが既に取り除かれ、双子のプロンプトが不要になった後に、すべての候補を再スコアする。 10つの命令調整されたモデルにおいて、greedy検索は29$-150$のニューロン(MLPの0.0066\%--0.0388\%)を取り除いた後に収束する。 Llama-3.2-3B-Instruct/Llama-3.1-8B-Instructでは2.24\%$/$7.35\%$/$87.54\%$、Qwen2.5-7B-Instruct/Qwen2.5-14B-Instructでは8.95\%$/$5.43\%$/$88.50\%まで上昇する。

関連論文リスト

• Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
  我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。 I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
  論文  参考訳（メタデータ） (2026-03-09T22:27:00Z)
• Structured vs. Unstructured Pruning: An Exponential Gap [7.354394320088788]
  ランダムにバイアスのない2層ReLUネットワークを用いて1つのバイアスのないReLUニューロンを近似する問題について検討する。 ニューロンのプルーニングには、ターゲットのReLUニューロンに$(d/varepsilon)$隠されたニューロンの開始ネットワークが必要であることを示す。
  論文  参考訳（メタデータ） (2026-02-13T08:12:36Z)
• Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
  その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。 この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-01-30T05:41:19Z)
• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• On Relation-Specific Neurons in Large Language Models [55.38860695310484]
  大きな言語モデルでは、あるニューロンは事前訓練中に学んだ知識を個別に保存することができる。 我々は,テキスト統計に基づく手法を用いて,LLama-2ファミリーを選択された関係集合で研究する。 我々の実験は関係特異的ニューロンの存在を実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:33:18Z)
• Memorization Capacity for Additive Fine-Tuning with Small ReLU Networks [16.320374162259117]
  Fine-Tuning Capacity (FTC)は、ニューラルネットワークが微調整できるサンプルの最大数として定義される。 2層ネットワークの$m=Theta(N)$ニューロンと3層ネットワークの$m=Theta(sqrtN)$ニューロンで、$K$がいくら大きいとしても、$N$サンプルを微調整できることが示される。
  論文  参考訳（メタデータ） (2024-08-01T07:58:51Z)
• Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
  本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。 RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。 このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
  論文  参考訳（メタデータ） (2023-05-24T08:29:30Z)
• Feature Learning in $L_{2}$-regularized DNNs: Attraction/Repulsion and Sparsity [9.077741848403791]
  パラメータの損失は、トレーニングセットの層単位でのアクティベーション$Z_ell$の損失に再計算可能であることを示す。 この改革は、機能学習の背景にあるダイナミクスを明らかにします。
  論文  参考訳（メタデータ） (2022-05-31T14:10:15Z)
• Towards Certifying $\ell_\infty$ Robustness using Neural Networks with $\ell_\infty$-dist Neurons [27.815886593870076]
  我々は本質的に$ell_infty$摂動に抵抗する原理的ニューラルネットワークを開発した。 一般的に使用されているデータセット上で、最先端のパフォーマンスを一貫して達成します。
  論文  参考訳（メタデータ） (2021-02-10T10:03:58Z)
• Network size and weights size for memorization with two-layers neural networks [15.333300054767726]
  本稿では,ニューロンの複雑な再結合をベースとしたReLUネットワークの新しいトレーニング手順を提案する。 Oleft(fracnd cdot fraclog(1/epsilon)epsilonright)$のニューロンと、体重のほぼ最適サイズの両方で近似記憶を示す。
  論文  参考訳（メタデータ） (2020-06-04T13:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。