論文の概要: Orthogonal Boundary Unlearning for Dual-Use Concepts in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.27490v1
• Date: Tue, 20 Oct 2026 02:09:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.584025
• Title: Orthogonal Boundary Unlearning for Dual-Use Concepts in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるデュアルユース概念の直交境界アンラーニング
• Abstract要約: 大規模言語モデルによる破滅的なリスクを緩和するには、良質な科学的ユーティリティを低下させることなく、有害な運用能力を抽出する必要がある。 本稿では,両用能力の相反的損傷を解消する数学的基盤を持つフレームワークであるOrthogonal boundary Unlearning(OBU)を提案する。 OBUは、強力なデュアルユースの概念分離を実現し、コンテキスト内プライミング攻撃を実質的に軽減し、良心的ドメイン能力を低下させることなく、敵対的再学習に対する耐久性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mitigating catastrophic risks from large language models requires excising hazardous operational capabilities, such as cyberwarfare exploitation and pathogen enhancement, without degrading benign scientific utility. In these dual-use domains, legitimate defensive science and malicious attacks share vocabulary, syntax, and internal model representations, causing standard unlearning methods to induce severe collateral damage (concept bleeding). In this work, we present Orthogonal Boundary Unlearning (OBU), a mathematically grounded framework designed to eliminate collateral damage on benign dual-use capabilities. OBU extracts a domain-matched capability subspace from paired calibration queries via singular value decomposition on empirical activation covariances, and restricts parameter updates strictly to the orthogonal null space. This guarantees that benign representations experience zero parameter perturbation along the spanned calibration subspace. We present two complementary realizations of OBU: Projected LoRA, which applies the orthogonal constraint during iterative gradient-based fine-tuning, and Closed-Form Weight Surgery, which directly edits model weights in a single analytical step without training. Across four modern open-weight foundation models (Gemma-3-4B, Qwen3.5-4B, SmolLM3-3B, and Granite-4.2-3B), OBU achieves strong dual-use concept separation, substantially mitigates in-context priming attacks, and demonstrates durable resistance against adversarial relearning without degrading benign domain competence.
• Abstract（参考訳）: 大規模言語モデルによる破滅的なリスクを緩和するには、良質な科学的有用性を損なうことなく、サイバーウォーフェアの搾取や病原体強化のような危険な作戦能力の抽出が必要である。 これらのデュアルユースドメインでは、正当防衛科学と悪意ある攻撃は語彙、構文、および内部モデル表現を共有しており、標準的な未学習の手法は深刻な副次的損傷(出血)を引き起こす。 そこで本研究では,両用能力の相反的損傷を解消する数学的基盤を持つフレームワークであるOrthogonal Boundary Unlearning(OBU)を提案する。 OBUは、経験的アクティベーション共分散の特異値分解を通じて、ペア化キャリブレーションクエリからドメインマッチング機能部分空間を抽出し、直交ヌル空間に厳密にパラメータ更新を制限する。 このことは、良性表現がスパンテッドキャリブレーション部分空間に沿ってゼロパラメータ摂動を経験することを保証している。 OBUの2つの相補的実現法として,反復的勾配に基づく微調整中に直交制約を適用したProjected LoRAと,1つの分析ステップでモデルの重みを直接編集するClosed-Form Weight Surgeryがある。 現代の4つのオープンウェイト基盤モデル(Gemma-3-4B、Qwen3.5-4B、SmolLM3-3B、Granite-4.2-3B)において、OBUは強力なデュアルユースの概念分離を実現し、コンテキスト内プライミング攻撃を実質的に軽減し、良心的なドメイン能力の低下を伴わずに敵の学習に対する耐久性を示す。

関連論文リスト

• Towards Understanding the Robustness of Sparse Autoencoders [13.16745936025085]
  本稿では,事前学習したSAEを推論時に変圧器残流に組み込むことについて検討する。 SAE強化モデルは、未定義のベースラインに対するジェイルブレイク成功率を最大5倍に向上させる。
  論文  参考訳（メタデータ） (2026-04-20T19:00:09Z)
• LEGATO: Good Identity Unlearning Is Continuous [30.78585550012454]
  LEGATOは、生成モデルのアイデンティティを忘れることを学ぶための機械学習手法である。 最先端の忘れパフォーマンスを実現し、破滅的な崩壊を回避し、微調整されたパラメータを減らす。 実験の結果,LEGATOは最先端の忘れ物性能を実現し,破滅的な崩壊を回避し,微調整パラメータを低減できることがわかった。
  論文  参考訳（メタデータ） (2026-01-07T13:15:25Z)
• Exploring Semantic-constrained Adversarial Example with Instruction Uncertainty Reduction [51.50282796099369]
  本稿では,多次元命令の不確実性低減フレームワークを開発し,意味論的に制約された逆の例を生成する。 言語誘導サンプリングプロセスの予測により、設計したResAdv-DDIMサンプルにより最適化プロセスが安定化される。 セマンティック制約付き3次元逆数例の参照フリー生成を初めて実現した。
  論文  参考訳（メタデータ） (2025-10-27T04:02:52Z)
• FALCON: Fine-grained Activation Manipulation by Contrastive Orthogonal Unalignment for Large Language Model [34.2978692666639]
  本研究では,FALCON(Contrastive Orthogonal uNalignment)による微細な活性化マニピュレーションを,表現誘導型未学習アプローチとして提案する。 FALCONは、モデルユーティリティを維持しながら、より優れた非学習効率を実現し、知識回復の試みに対して堅牢な抵抗を示す。
  論文  参考訳（メタデータ） (2025-02-03T16:05:15Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Towards Robustness Against Natural Language Word Substitutions [87.56898475512703]
  単語置換に対するロバスト性は、意味論的に類似した単語を置換として、明確に定義され広く受け入れられる形式である。 従来の防衛方法は、$l$-ball または hyper-rectangle を用いてベクトル空間における単語置換をキャプチャする。
  論文  参考訳（メタデータ） (2021-07-28T17:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。