Fugu-MT 論文翻訳(概要): Overriding Safety protections of Open-source Models

論文の概要: Overriding Safety protections of Open-source Models

arxiv url: http://arxiv.org/abs/2409.19476v1
Date: Sat, 28 Sep 2024 22:53:27 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 22:57:44.743141
Title: Overriding Safety protections of Open-source Models
Title（参考訳）: オープンソースモデルにおける過渡的安全保護
Authors: Sachin Kumar,
Abstract要約: 本稿では, 微調整における有害データ導入の影響について検討する。有害なデータに対してモデルを微調整することで、役に立たないか、信頼できないかを調査する。安全な微調整モデルでは、ベースモデルと比較してASRは51.68%減少する。
参考スコア（独自算出の注目度）: 4.093963624562595
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LLMs(Large Language Models) nowadays have widespread adoption as a tool for solving issues across various domain/tasks. These models since are susceptible to produce harmful or toxic results, inference-time adversarial attacks, therefore they do undergo safety alignment training and Red teaming for putting in safety guardrails. For using these models, usually fine-tuning is done for model alignment on the desired tasks, which can make model more aligned but also make it more susceptible to produce unsafe responses, if fine-tuned with harmful data.In this paper, we study how much of impact introduction of harmful data in fine-tuning can make, and if it can override the safety protection of those models. Conversely,it was also explored that if model is fine-tuned on safety data can make the model produce more safer responses. Further we explore if fine-tuning the model on harmful data makes it less helpful or less trustworthy because of increase in model uncertainty leading to knowledge drift. Our extensive experimental results shown that Safety protection in an open-source can be overridden, when fine-tuned with harmful data as observed by ASR increasing by 35% when compared to basemodel's ASR. Also, as observed, fine-tuning a model with harmful data made the harmful fine-tuned model highly uncertain with huge knowledge drift and less truthfulness in its responses. Furthermore, for the safe fine-tuned model, ASR decreases by 51.68% as compared to the basemodel, and Safe model also shown in minor drop in uncertainty and truthfulness as compared to basemodel. This paper's code is available at: https://github.com/techsachinkr/Overriding_Model_Safety_Protections
Abstract（参考訳）: LLM(Large Language Models)は、近年、様々なドメイン/タスクにまたがる問題を解決するツールとして広く採用されている。これらのモデルは、有害または有害な結果、推測時敵攻撃を生じさせる可能性があるため、安全アライメントトレーニングおよび安全ガードレールを装着するためのレッドチームを行う。これらのモデルを使用する場合、通常、細調整は、モデルがより整合性を高めつつ、有害なデータで微調整された場合、安全でない応答を生じやすくするモデルアライメントのために行われる。逆に、モデルが安全データに基づいて微調整されている場合、モデルがより安全な応答を生成できるようにすることも検討された。さらに、有害なデータに対するモデル調整が、モデルの不確実性の増加による知識の漂流につながるため、役に立たないか、信頼できないかを調査する。 ASRが観測した有害データをベースモデルのASRと比較して35%の精度で微調整した場合に,オープンソースにおける安全保護を過度に防ぐことができることを示した。また, 有害なデータを用いた微調整モデルにより, 有害な微調整モデルは非常に不確実であり, 膨大な知識の漂流と応答の真偽が減少した。さらに, 安全な微調整モデルでは, ベースモデルと比較してASRは51.68%減少し, セーフモデルもベースモデルに比べて不確実性や真偽の軽微な低下を示した。この論文のコードは、https://github.com/techsachinkr/Overriding_Model_Safety_Protectionsで公開されている。

関連論文リスト

Safety-Aware Fine-Tuning of Large Language Models [29.5636201427693]
細調整された大規模言語モデル(LLM)は、個々のニーズや好みに合わせてモデルを調整するための一般的なプラクティスとして現れています。本稿では,有害な可能性のあるデータを自動検出・除去する,新たなSAFT(Safety-Aware Fine-Tuning)フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-13T21:24:25Z)
Direct Unlearning Optimization for Robust and Safe Text-to-Image Models [29.866192834825572]
モデルが潜在的に有害なコンテンツを生成する能力を取り除くために、未学習の技術が開発されている。これらの手法は敵の攻撃によって容易に回避され、生成した画像の安全性を確保するには信頼性が低い。 T2IモデルからNot Safe For Work(NSFW)コンテンツを除去するための新しいフレームワークであるDirect Unlearning Optimization (DUO)を提案する。
論文参考訳（メタデータ） (2024-07-17T08:19:11Z)
What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。これを用いて,3つのよく知られた安全微調整手法について検討する。
論文参考訳（メタデータ） (2024-07-14T16:12:57Z)
Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
論文参考訳（メタデータ） (2024-07-12T09:36:33Z)
Covert Malicious Finetuning: Challenges in Safeguarding LLM Adaptation [86.05704141217036]
Black-boxファインタニングは、最先端の言語モデルをユーザのニーズに適応するための、新たなインターフェースである。本研究では,検出を回避しながら,モデル安全性を損なう手法である隠れ悪意のある微調整を導入する。
論文参考訳（メタデータ） (2024-06-28T17:05:46Z)
Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文参考訳（メタデータ） (2024-04-01T16:50:54Z)
Language Model Unalignment: Parametric Red-Teaming to Expose Hidden Harms and Biases [32.2246459413988]
Red-teamingは、モデルの安全行動をジェイルブレイクして、クエリの有害性を無視した有用なエージェントとして機能させることを目的としている。我々は、安全研究、すなわち、Unalignmentを通してのレッドチームについて、新しい視点を提示する。統一性はモデルパラメータを調整し、モデルの振舞いに深く根付いていないモデルガードレールを壊す。
論文参考訳（メタデータ） (2023-10-22T13:55:46Z)
Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions [79.1824160877979]
いくつかの一般的な命令調整モデルは非常に安全でないことを示す。私たちの安全チューニングは、標準ベンチマークによって測定されたモデルの性能や有用性を著しく低下させません。
論文参考訳（メタデータ） (2023-09-14T17:23:37Z)
MOVE: Effective and Harmless Ownership Verification via Embedded External Features [109.19238806106426]
本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。特に、包括的モデル保護を提供するために、ホワイトボックスとブラックボックスの両方の設定でMOVE法を開発した。
論文参考訳（メタデータ） (2022-08-04T02:22:29Z)
DeepSight: Mitigating Backdoor Attacks in Federated Learning Through Deep Model Inspection [26.593268413299228]
フェデレートラーニング(FL)では、複数のクライアントが、データを公開せずに、プライベートデータ上でニューラルネットワーク(NN)モデルを協調的にトレーニングすることができる。 DeepSightは、バックドア攻撃を緩和するための新しいモデルフィルタリングアプローチである。モデルの性能に悪影響を及ぼすことなく、最先端のバックドア攻撃を軽減できることを示す。
論文参考訳（メタデータ） (2022-01-03T17:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。