論文の概要: How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE

• arxiv url: http://arxiv.org/abs/2609.09793v1
• Date: Wed, 09 Sep 2026 06:48:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.922142
• Title: How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE
• Title（参考訳）: フロンティアスケールでの安全アライメントはどんなものか? 320BのMoEで一方向攻撃
• Abstract要約: 指示アブレーションは、残余ストリームを記述する重みから1つの"拒絶方向"を投影することで、整列言語モデルの拒否する能力を取り除く。 残留ストリームがもはや1つのテンソルではなく、重量船が定量化されるような、フロンティア・オブ・エキスパート・ミックスへのシフトを生き残るかどうかを考察する。
• 参考スコア（独自算出の注目度）: 9.309878989186581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Directional ablation removes an aligned language model's ability to refuse by projecting a single "refusal direction" out of the weights that write the residual stream. It needs no gradient-based training and no optimization, only a few hundred contrastive prompts, which makes it the canonical white-box attack on open-weight alignment. However, it has been established only on dense models up to roughly 70B parameters. We study whether it survives the shift to frontier mixture-of-experts (MoE) models whose residual streams are no longer a single tensor and whose weights ship quantized. We apply it to GLM-5.3-Flash (320B parameters, 288 routed experts, a four-wide hyper-connection residual, block-FP8). The attack survives the architecture, but what it reaches is no longer where a reader of the original recipe would look for it. Editing the attention, dense and routed-expert writers on their own removes 0.039, 0.016 and 0.148 of refusal respectively; editing all three together removes 0.776. As a result, 74% of the effect exists only under the joint intervention. The part the conventional recipe reaches by module-name matching accounts for 0.066 of that 0.776, which is why it fails silently on an MoE. The effect does not follow from removing just any direction: ablating a random direction orthogonal to it leaves refusal unchanged. A category-concentrated residue survives every edit we tried: subspaces fitted on violence, sexual content and hate leave measurable refusal at every rank from 1 to 12. We report the method, the 41-89 percentage-point reductions it achieves across seven harmful benchmarks with no detected change in capability, and the boundary where it stops.
• Abstract（参考訳）: 指示アブレーションは、残余ストリームを記述する重みから1つの"拒絶方向"を投影することで、整列言語モデルの拒否する能力を取り除く。 勾配ベースのトレーニングも最適化も不要で、数百の対照的なプロンプトしか必要とせず、オープンウェイトアライメントに対する標準的なホワイトボックス攻撃となる。 しかし、これはおよそ70Bパラメータの密度の高いモデルでのみ確立されている。 残留ストリームがもはや1つのテンソルではなく、重量船が定量化されるような、フロンティア・オブ・エキスパート・ミックス(MoE)モデルへのシフトが生き残るかどうかを考察する。 GLM-5.3-Flash(320Bパラメータ、288のルーティング専門家、4幅のハイパーコネクション残差ブロック-FP8)に適用する。 攻撃はアーキテクチャを生き残るが、それが到達しているのは、オリジナルのレシピの読者がそれを探す場所ではない。 注意を引いて、密集した専門家のライターを自力で編集すると、それぞれ0.039、0.016、0.148が拒否され、3人とも編集すると0.776が削除される。 その結果、効果の74%は共同介入下でのみ存在する。 従来のレシピは0.776の0.066のモジュール名マッチングで到達しているため、MoE上で静かに失敗する。 この効果は、いかなる方向も取り除くことによっても従わない: ランダムな方向と直交する方向を非難することは、拒絶する。 カテゴリーに集中した残余は、暴力、性的内容、ヘイトアウトに適合するサブスペースを1から12までの全てのランクで拒否する、という、私たちが試したすべての編集に残っています。 提案手法は,検出された性能変化を伴わない7つの有害なベンチマークにおいて達成される41-89のパーセンテージ削減と,停止する境界について報告する。

関連論文リスト

• The Filter Metric is Safety-Critical: Phantom Advantages in Group-Relative RL under Shaped Rewards [1.667501390377158]
  グループ相対的なポリシー最適化は、動的サンプリングによって非コントラストのロールアウトグループを捨てることができる。 我々は,複合形状の報酬の下で,計量述語ミスマッチを同定し,定量化する。
  論文  参考訳（メタデータ） (2026-09-12T10:36:55Z)
• When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models [0.0]
  1200の論理的結論の検証を依頼された言語モデルは、毎回YESに答える。 隠れた状態の線形プローブは、0.96 AUCで正しい判定を読み取った。 判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。 診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する。
  論文  参考訳（メタデータ） (2026-09-04T00:26:45Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models [45.91367912142692]
  異なるモデルがいまだに同じ狭い部分集合を選択している可能性を示し、単一の引用が誤りを犯さずに、引用モノカルチャーを生成する。 3つのベンダーの11のモデルが、30のランダムなパネルから少なくとも10の論文を選択しており、実際のタイトルと抽象物があるが、作者が作り直され、再割り当て年、隠れた会場と引用数がある。
  論文  参考訳（メタデータ） (2026-08-03T14:27:46Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak [0.0]
  修飾言語モデルは有害な要求を拒否するが、一行のプリフィルは拒絶する。 線形プローブは、拒否されたプローブ(0.91-0.98)よりも高い損傷を読み取るが、振舞いの拒絶は偶然に減少する。 我々はそれを早期ウィンドウにローカライズする: 線量調整された位置制御は、応答の前半が拒否を破るのに十分であり、後半はほとんど不活性である。
  論文  参考訳（メタデータ） (2026-07-14T09:30:34Z)
• Scaffold splits hide structural-frontier failures in ADMET models [25.408600489964726]
  我々は,最も広く,最も物理化学的に遠隔的な足場群を予約するラベルフリーな構造フロンティアスプリットを導入する。 ADMETタスクを6つの公開実験またはキュレートしたADMETタスクで評価した。
  論文  参考訳（メタデータ） (2026-07-12T12:25:50Z)
• Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain [0.0]
  ヘイトスピーチアノテーションパイプラインは、アノテータの不一致をトレーニング前に多数投票ラベルに分解する。 この集合が中立ではないことを示す。 高度化のための下流3つの介入は、すべて境界精度の回復に失敗する。
  論文  参考訳（メタデータ） (2026-06-27T06:56:07Z)
• Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
  大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。 既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。 記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
  論文  参考訳（メタデータ） (2026-06-17T07:29:18Z)
• Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity [43.23157850664282]
  VOIR DIREは、米国と中国本土にまたがる、626の文化的にペアリングされたイメージプロンプトアーティファクトのマルチモーダルベンチマークである。 6つのMLLMにまたがって、バイアスは2つの障害に分解される。 本稿では,各参照プールに対して個別にアライメントを報告することを推奨する。
  論文  参考訳（メタデータ） (2026-06-12T15:53:40Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• An Embarrassingly Simple Defense Against LLM Abliteration Attacks [47.347413305965006]
  失語症と呼ばれる最近の攻撃は、拒否行動に最も責任がある唯一の潜伏方向を特定し、抑制する。 本稿では、モデルが拒否を表現する方法を根本的に変える防衛法を提案する。 微調整のLlama-2-7B-ChatとQwen2.5-Instructは、消音下で高い断熱率を維持するモデルを生成する。
  論文  参考訳（メタデータ） (2025-05-25T09:18:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。