論文の概要: DNAlign: Dynamic Null-Space Safe Alignment for LLMs

• arxiv url: http://arxiv.org/abs/2610.02844v1
• Date: Fri, 02 Oct 2026 05:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.230992
• Title: DNAlign: Dynamic Null-Space Safe Alignment for LLMs
• Title（参考訳）: DNAlign: LLMのための動的ヌルスペースセーフアライメント
• Abstract要約: 制御理論の最適化とヌル空間射影を統合した軽量アライメントフレームワークを提案する。 DNAlignは、フルーエンス、コヒーレンス、および実効性を保ちながら、有害な出力を一貫して減少させる。
• 参考スコア（独自算出の注目度）: 48.817227234944795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring the safe and reliable deployment of large language models (LLMs) remains a fundamental challenge. Existing safety alignment approaches either incur high computational cost or unintentionally disrupt the model's core knowledge, leading to degraded fluency and factual accuracy on benign tasks. This reveals a persistent trade-off between safety and utility. We propose DNAlign, a lightweight alignment framework that integrates control-theoretic optimization with null-space projection. By treating the LLM as a dynamic system, the proposed framework introduces controllable perturbations to steer generation toward safe behavior. A key component is the projection module, which restricts these perturbations to the harmful-related subspace derived from neutral hidden states, thereby preserving general knowledge and response quality. A value function trained on human preference data adaptively optimizes the control signals to align with human safety preferences. Extensive evaluations across multiple LLM backbones demonstrate that our framework consistently reduces harmful outputs while maintaining fluency, coherence, and factual utility. It achieves superior overall performance compared to prior alignment baselines without sacrificing generation diversity. These results indicate that the proposed framework provides an effective and practically deployable solution for safe LLM alignment. Code is available at https://anonymous.4open.science/r/DNAlign.
• Abstract（参考訳）: 大きな言語モデル(LLM)の安全で信頼性の高いデプロイを保証することは、依然として根本的な課題である。 既存の安全性アライメントアプローチは、高い計算コストを発生させるか、または意図せずモデルのコア知識を破壊し、劣化したレイテンシと、良質なタスクの事実的正確性をもたらす。 このことは、安全と実用性の間の永続的なトレードオフを明らかにします。 制御理論最適化とヌル空間投影を統合した軽量アライメントフレームワークであるDNAlignを提案する。 LLMを動的システムとして扱うことにより,制御可能な摂動を導入した。 鍵となる構成要素は射影モジュールであり、これはこれらの摂動を中立な隠れ状態から派生した有害な関連部分空間に制限し、一般知識と応答品質を保存する。 人選好データに基づいて訓練された値関数は、人選好に合わせて制御信号を適応的に最適化する。 複数のLDMバックボーンに対する広範囲な評価は、我々のフレームワークは、流布、コヒーレンス、実効性を保ちながら、有害な出力を一貫して減少させることを示した。 生成多様性を犠牲にすることなく、事前のアライメントベースラインと比較して、全体的なパフォーマンスが向上する。 これらの結果から,提案するフレームワークは,安全なLCMアライメントを実現するための効果的かつ実用的なソリューションであることがわかった。 コードはhttps://anonymous.4open.science/r/DNAlignで入手できる。

関連論文リスト

• Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization [18.414223070961782]
  大規模言語モデルの安全性アライメントは、汎用性を維持しながら有害または不安全な振る舞いを減らすことを目的としている。 最近の知見は、アライメント効果が脆弱であることを示しており、軽量なアライメント後操作は、意図した安全性の振る舞いを容易に弱めることができる。 本稿では、まず標準の1次安全アライメントを行い、その後、ロバスト性向上のために0階改良を適用したハイブリッドフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-28T05:46:38Z)
• Improving LLM Reliability through Hybrid Abstention and Adaptive Detection [1.9495934446083012]
  運用環境にデプロイされる大規模言語モデル(LLM)は、基本的な安全ユーティリティトレードオフに直面します。 静的ルールや固定された信頼しきい値に基づく従来のガードレールは通常、文脈に敏感で計算コストが高い。 本研究では,リアルタイムのコンテキスト信号に基づいて安全閾値を動的に調整する適応型禁制システムを提案する。
  論文  参考訳（メタデータ） (2026-02-17T07:00:09Z)
• LSSF: Safety Alignment for Large Language Models through Low-Rank Safety Subspace Fusion [16.434293020863592]
  大きな言語モデル(LLM)の安全性メカニズムは、有害なコンテンツのないデータセットの微調整でさえも、その安全性能力を損なう可能性があるため、顕著な脆弱性を示す。 LSSF, underline-Rank underlineSafety underlineSubspace underlineFusion。 提案手法は,低ランクプロジェクション行列の構築により,LLMの安全性情報の低ランク特性を利用する。
  論文  参考訳（メタデータ） (2026-01-19T03:59:12Z)
• Safeguarding LLM Fine-tuning via Push-Pull Distributional Alignment [45.772620696660034]
  安全最適輸送(SOT)は、インスタンスレベルのフィルタリング課題から最適輸送(OT)に基づく分散レベルのアライメントタスクへ安全な微調整を再構成する新しいフレームワークである。 SOTは、下流の分布を信頼された安全なアンカーへ積極的に引き寄せ、同時に一般的な有害な参照から引き離すことで、サンプルの重要性を優先する。 さまざまなモデルファミリやドメインにわたる実験により、SOTは、競争力のある下流のパフォーマンスを維持しながら、モデルの安全性を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-12T04:48:02Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
  MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。 そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T09:03:51Z)
• SafeSwitch: Steering Unsafe LLM Behavior via Internal Activation Signals [51.49737867797442]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示すが、有害なコンテンツを生成することでリスクを引き起こす。 LLMは、内部状態の安全性に関する内部評価を同様に行うことができることを示す。 本稿では,プロバーをベースとした内部状態モニタを用いて,安全でない出力を規制するSafeSwitchを提案する。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• Superficial Safety Alignment Hypothesis [15.215130286922564]
  本稿では,安全アライメントが安全でないモデルに正しい推論方向を選択することを示唆する,表層安全アライメント仮説(SSAH)を提案する。 属性クリティカルなコンポーネントは,安全性クリティカルユニット(SCU),ユーティリティクリティカルユニット(UCU),コンプレックスユニット(CU),冗長ユニット(RU)の4種類に分類する。 実験結果から, 微調整中に特定の安全クリティカル成分を凍結することで, 新たな作業に適応しながら, 安全性特性を維持できることが判明した。
  論文  参考訳（メタデータ） (2024-10-07T19:53:35Z)
• Towards Comprehensive Post Safety Alignment of Large Language Models via Safety Patching [74.62818936088065]
  textscSafePatchingは包括的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的なPSAを実現する。 textscSafePatchingは、連続的なPSAシナリオにおいて、その優位性を示している。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。