論文の概要: On the Failure of Topic-Matched Contrast Baselines in Multi-Directional Refusal Abliteration

• arxiv url: http://arxiv.org/abs/2603.22061v1
• Date: Mon, 23 Mar 2026 14:55:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.738146
• Title: On the Failure of Topic-Matched Contrast Baselines in Multi-Directional Refusal Abliteration
• Title（参考訳）: 多方向拒絶除去におけるトピックマッチコントラストベースラインの故障について
• Authors: Valentin Petrov,
• Abstract要約: 本研究は、位相的に一致したコントラストベースラインがより優れた拒絶方向をもたらすかどうかを考察する。 その結果, トピックマッチングコントラストは任意の重量レベルで機能的拒絶方向を生じないことがわかった。 読み上げ研究におけるコントラストベースラインの設計の意味について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inasmuch as the removal of refusal behavior from instruction-tuned language models by directional abliteration requires the extraction of refusal-mediating directions from the residual stream activation space, and inasmuch as the construction of the contrast baseline against which harmful prompt activations are compared has been treated in the existing literature as an implementation detail rather than a methodological concern, the present work investigates whether a topically matched contrast baseline yields superior refusal directions. The investigation is carried out on the Qwen~3.5 2B model using per-category matched prompt pairs, per-class Self-Organizing Map extraction, and Singular Value Decomposition orthogonalization. It was found that topic-matched contrast produces no functional refusal directions at any tested weight level on any tested layer, while unmatched contrast on the same model, same extraction code, and same evaluation protocol achieves complete refusal elimination on six layers. The geometric analysis of the failure establishes that topic-matched subtraction cancels the dominant activation component shared between harmful and harmless prompts of the same subject, reducing the extracted direction magnitude below the threshold at which weight-matrix projection perturbs the residual stream. The implications for the design of contrast baselines in abliteration research are discussed.
• Abstract（参考訳）: 本研究は,従来の文献において,指示調整言語モデルから方向失語化による拒絶行動の除去には,残ストリーム活性化空間からの拒絶媒介方向の抽出が必要であり,また,有害な迅速なアクティベーションの比較を行うコントラストベースラインの構築が,方法論的な問題ではなく実装上の詳細として扱われているため,位相整合されたコントラストベースラインがより優れた拒絶方向を得るか否かを調査する。 本研究は,Qwen~3.52Bモデルを用いて,カテゴリごとの一致したプロンプトペア,クラスごとの自己組織化マップ抽出,特異値分解直交化を用いて行った。 その結果,任意の試験層上で試験された重量レベルにおいて,トピックマッチングコントラストは機能的拒絶方向を生成せず,同じモデル,同一抽出コード,同一評価プロトコルでは,6層で完全な拒絶方向を達成できることがわかった。 この故障の幾何学的解析により、トピックマッチングサブトラクションは、同じ被験者の有害なプロンプトと無害なプロンプト間で共有される支配的活性化成分をキャンセルし、重量行列投影が残留ストリームを乱す閾値以下の抽出方向の寸法を減少させる。 読み上げ研究におけるコントラストベースラインの設計の意味について論じる。

関連論文リスト

• From Refusal Tokens to Refusal Control: Discovering and Steering Category-Specific Refusal Directions [7.599054770990825]
  我々はLlama 3 8Bの分類的拒絶トークンを微調整したバージョンを活用し、微細な拒絶動作に対する推論時間制御を可能にする。 提案手法は,推論中の拒絶の方向か方向かを決定する軽量プローブを用いて分類的ステアリングベクターを構築した。 ベンチマーク全体において、カテゴリー的ステアリングベクトルとローランクの組み合わせは、良性プロンプトに対する過剰な拒絶を一貫して減少させ、有害なプロンプトに対する拒絶率を増大させる。
  論文  参考訳（メタデータ） (2026-03-09T06:37:16Z)
• On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
  このような情報条件の相互作用パターンを振る舞い依存として定式化する。 これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。 その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
  論文  参考訳（メタデータ） (2026-02-24T22:55:21Z)
• Adversarial Lens: Exploiting Attention Layers to Generate Adversarial Examples for Evaluation [0.2800045883776013]
  注意層トークン分布から直接逆例を生成する。 中間層から抽出したトークンが下流評価タスクに有効な逆摂動として有効であるかどうかを評価する。
  論文  参考訳（メタデータ） (2025-12-29T19:59:52Z)
• BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
  Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。 本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:13:06Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [63.64877263289319]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。