論文の概要: On the Failure of Topic-Matched Contrast Baselines in Multi-Directional Refusal Abliteration

• arxiv url: http://arxiv.org/abs/2603.22061v1
• Date: Mon, 23 Mar 2026 14:55:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.738146
• Title: On the Failure of Topic-Matched Contrast Baselines in Multi-Directional Refusal Abliteration
• Title（参考訳）: 多方向拒絶除去におけるトピックマッチコントラストベースラインの故障について
• Abstract要約: 本研究は、位相的に一致したコントラストベースラインがより優れた拒絶方向をもたらすかどうかを考察する。 その結果, トピックマッチングコントラストは任意の重量レベルで機能的拒絶方向を生じないことがわかった。 読み上げ研究におけるコントラストベースラインの設計の意味について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inasmuch as the removal of refusal behavior from instruction-tuned language models by directional abliteration requires the extraction of refusal-mediating directions from the residual stream activation space, and inasmuch as the construction of the contrast baseline against which harmful prompt activations are compared has been treated in the existing literature as an implementation detail rather than a methodological concern, the present work investigates whether a topically matched contrast baseline yields superior refusal directions. The investigation is carried out on the Qwen~3.5 2B model using per-category matched prompt pairs, per-class Self-Organizing Map extraction, and Singular Value Decomposition orthogonalization. It was found that topic-matched contrast produces no functional refusal directions at any tested weight level on any tested layer, while unmatched contrast on the same model, same extraction code, and same evaluation protocol achieves complete refusal elimination on six layers. The geometric analysis of the failure establishes that topic-matched subtraction cancels the dominant activation component shared between harmful and harmless prompts of the same subject, reducing the extracted direction magnitude below the threshold at which weight-matrix projection perturbs the residual stream. The implications for the design of contrast baselines in abliteration research are discussed.
• Abstract（参考訳）: 本研究は,従来の文献において,指示調整言語モデルから方向失語化による拒絶行動の除去には,残ストリーム活性化空間からの拒絶媒介方向の抽出が必要であり,また,有害な迅速なアクティベーションの比較を行うコントラストベースラインの構築が,方法論的な問題ではなく実装上の詳細として扱われているため,位相整合されたコントラストベースラインがより優れた拒絶方向を得るか否かを調査する。 本研究は,Qwen~3.52Bモデルを用いて,カテゴリごとの一致したプロンプトペア,クラスごとの自己組織化マップ抽出,特異値分解直交化を用いて行った。 その結果,任意の試験層上で試験された重量レベルにおいて,トピックマッチングコントラストは機能的拒絶方向を生成せず,同じモデル,同一抽出コード,同一評価プロトコルでは,6層で完全な拒絶方向を達成できることがわかった。 この故障の幾何学的解析により、トピックマッチングサブトラクションは、同じ被験者の有害なプロンプトと無害なプロンプト間で共有される支配的活性化成分をキャンセルし、重量行列投影が残留ストリームを乱す閾値以下の抽出方向の寸法を減少させる。 読み上げ研究におけるコントラストベースラインの設計の意味について論じる。

関連論文リスト

• StateSwap: Probing Support-Elimination Hidden States in Multiple-Choice Questions [22.173138594307662]
  2つのフレーミングによって引き起こされる異なる内部表現から相違が生じているかどうかを検討する。 最小限に異なるプロンプトを持つデュアルフレーミングプロトコルを導入する。 2つのフレーミングは中間層に集中して分離可能な[STATE]活性化を誘導する。
  論文  参考訳（メタデータ） (2026-09-01T11:13:26Z)
• Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
  汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。 本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T13:19:25Z)
• Perturbation-based Regional Interpretability through Subtraction Mapping (PRISM): naming-error dissociations in language models and post-stroke aphasia [6.867794233852404]
  サブトラクション分析は人間のニューロイメージングの標準的な枠組みである。 PRISM (Perturbation-based Regional Interpretability through Subtraction Mapping) の開発 PRISMは、トランスフォーマー言語モデルにおける機能特殊化の主張を、ファリザブルで空間的に解決したテストを提供する。
  論文  参考訳（メタデータ） (2026-08-13T02:02:05Z)
• R-APS: Compositional Reasoning and In-Context Meta-Learning for Constrained Design via Reflective Adversarial Pareto Search [18.8323743697237]
  大規模言語モデル(LLM)は、オープンなタスクに精通しているが、エージェント設定では、信頼性の高いデリバリが保証されない。 エラーは局所化せずに伝播し、最悪の場合の摂動は未評価となり、蓄積された知識は決して無効にされない。 帰納的、反事実的、メタ帰納的、是正的、帰納的推論は、相容れない方向に共有コンテキストを引き出す。
  論文  参考訳（メタデータ） (2026-06-03T12:45:39Z)
• When Hard Negatives Hurt: Bridging the Generative-Discriminative Gap in Hard Negative Synthesis for Retrieval [45.5843471557695]
  比較学習に生成した負を鼻で組み込むことは、検索性能を劣化させることが多いことを示す。 本分析では, 識別非依存型生成とソース依存型ショートカットの2つの複合的障害モードを明らかにした。 このギャップを埋めるために、2つの主加群からなるCausalNegを提案する。
  論文  参考訳（メタデータ） (2026-05-31T15:48:30Z)
• From Refusal Tokens to Refusal Control: Discovering and Steering Category-Specific Refusal Directions [7.599054770990825]
  我々はLlama 3 8Bの分類的拒絶トークンを微調整したバージョンを活用し、微細な拒絶動作に対する推論時間制御を可能にする。 提案手法は,推論中の拒絶の方向か方向かを決定する軽量プローブを用いて分類的ステアリングベクターを構築した。 ベンチマーク全体において、カテゴリー的ステアリングベクトルとローランクの組み合わせは、良性プロンプトに対する過剰な拒絶を一貫して減少させ、有害なプロンプトに対する拒絶率を増大させる。
  論文  参考訳（メタデータ） (2026-03-09T06:37:16Z)
• On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
  このような情報条件の相互作用パターンを振る舞い依存として定式化する。 これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。 その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
  論文  参考訳（メタデータ） (2026-02-24T22:55:21Z)
• Adversarial Lens: Exploiting Attention Layers to Generate Adversarial Examples for Evaluation [0.2800045883776013]
  注意層トークン分布から直接逆例を生成する。 中間層から抽出したトークンが下流評価タスクに有効な逆摂動として有効であるかどうかを評価する。
  論文  参考訳（メタデータ） (2025-12-29T19:59:52Z)
• Exploring Semantic-constrained Adversarial Example with Instruction Uncertainty Reduction [51.50282796099369]
  本稿では,多次元命令の不確実性低減フレームワークを開発し,意味論的に制約された逆の例を生成する。 言語誘導サンプリングプロセスの予測により、設計したResAdv-DDIMサンプルにより最適化プロセスが安定化される。 セマンティック制約付き3次元逆数例の参照フリー生成を初めて実現した。
  論文  参考訳（メタデータ） (2025-10-27T04:02:52Z)
• BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
  Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。 本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:13:06Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [63.64877263289319]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。