論文の概要: Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations

• arxiv url: http://arxiv.org/abs/2406.11801v2
• Date: Mon, 28 Oct 2024 17:30:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:45.922667
• Title: Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations
• Title（参考訳）: 安全算術:ステアリングパラメータとアクティベーションによる言語モデルのテスト時安全アライメントのためのフレームワーク
• Authors: Rima Hazra, Sayan Layek, Somnath Banerjee, Soujanya Poria,
• Abstract要約: 現在のアライメント手法は、動的なユーザ意図と複雑な目的に苦しむ。 異なるシナリオにおける安全性を向上させるトレーニングフリーフレームワークであるSafety Arithmeticを提案する。 実験の結果,安全算術は安全対策を大幅に改善し,過度な安全性を低減し,モデルの有用性を維持できることがわかった。
• 参考スコア（独自算出の注目度）: 19.132597762214722
• License:
• Abstract: Ensuring the safe alignment of large language models (LLMs) with human values is critical as they become integral to applications like translation and question answering. Current alignment methods struggle with dynamic user intentions and complex objectives, making models vulnerable to generating harmful content. We propose Safety Arithmetic, a training-free framework enhancing LLM safety across different scenarios: Base models, Supervised fine-tuned models (SFT), and Edited models. Safety Arithmetic involves Harm Direction Removal to avoid harmful content and Safety Alignment to promote safe responses. Additionally, we present NoIntentEdit, a dataset highlighting edit instances that could compromise model safety if used unintentionally. Our experiments show that Safety Arithmetic significantly improves safety measures, reduces over-safety, and maintains model utility, outperforming existing methods in ensuring safe content generation.
• Abstract（参考訳）: 大きな言語モデル(LLM)と人間の価値を安全に一致させることは、翻訳や質問応答といったアプリケーションに不可欠なものとなるため、非常に重要である。 現在のアライメント手法は、動的なユーザ意図や複雑な目的に苦慮し、有害なコンテンツを生成するためにモデルを脆弱にする。 我々は,ベースモデル,スーパービジョンファインチューニングモデル(SFT),編集モデルなど,さまざまなシナリオでLCMの安全性を向上させるトレーニングフリーフレームワークであるSafety Arithmeticを提案する。 安全算術には有害なコンテンツを避けるためのハーム方向除去と安全な応答を促進するための安全調整が含まれる。 さらに、意図せず使用すればモデルの安全性を損なう可能性がある編集インスタンスをハイライトするデータセットであるNoIntentEditも提示します。 実験の結果,安全算術は安全対策を著しく改善し,過度な安全性を低減し,モデルユーティリティを維持でき,コンテンツ生成の安全性を向上する既存手法よりも優れていることがわかった。

関連論文リスト

• Controllable Safety Alignment: Inference-Time Adaptation to Diverse Safety Requirements [46.79887158348167]
  大規模言語モデル(LLM)の安全性アライメントに関する現在のパラダイムは、一大のアプローチに従っている。 我々は,モデルの再トレーニングを伴わず,多様な安全要件に適応するフレームワークとして,制御可能な安全アライメント(CoSA)を提案する。
  論文  参考訳（メタデータ） (2024-10-11T16:38:01Z)
• A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering [6.529120583320167]
  本稿では、モデルフリーな安全強化学習(RL)における安全性制約と過大評価を解消する安全変調器アクタ・クリティカル(SMAC)手法を提案する。 無人航空機(UAV)ホバリングにおけるシミュレーションと実世界のシナリオ実験の両方で、SMACが安全性の制約を効果的に維持し、メインストリームのベースラインアルゴリズムより優れていることを確認した。
  論文  参考訳（メタデータ） (2024-10-09T13:07:24Z)
• Nothing in Excess: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  重大言語モデル(LLM)が悪意のある命令から脅威を守るためには、安全性の調整が不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• SafeInfer: Context Adaptive Decoding Time Safety Alignment for Large Language Models [5.6874111521946356]
  安全に整合した言語モデルは、しばしば脆弱で不均衡な安全メカニズムを示す。 文脈適応型デコード型安全アライメント戦略であるSafeInferを提案する。 HarmEvalは、広範な安全性評価のための新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-06-18T05:03:23Z)
• Towards Comprehensive and Efficient Post Safety Alignment of Large Language Models via Safety Patching [77.36097118561057]
  textscSafePatchingは包括的で効率的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的で効率的なPSAを実現する。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。