論文の概要: Evaluating Defences against Unsafe Feedback in RLHF

• arxiv url: http://arxiv.org/abs/2409.12914v3
• Date: Wed, 26 Feb 2025 01:01:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:54:33.159691
• Title: Evaluating Defences against Unsafe Feedback in RLHF
• Title（参考訳）: RLHFにおける安全でないフィードバックに対する防御評価
• Authors: Domenic Rosati, Giles Edkins, Harsh Raj, David Atanasov, Subhabrata Majumdar, Janarthanan Rajendran, Frank Rudzicz, Hassan Sajjad,
• Abstract要約: 本稿では、強化学習による安全でないフィードバックからの学習について考察する。 安全に配慮したLLMは有害なテキストを生成することで、安全でない行動空間を容易に探索できることがわかった。 この脆弱性から保護するために、我々は、有害な微調整の防御を「単純」と「明示」の両方に適応させる。
• 参考スコア（独自算出の注目度）: 26.872318173182414
• License:
• Abstract: While there has been progress towards aligning Large Language Models (LLMs) with human values and ensuring safe behaviour at inference time, safety guards can easily be removed when fine tuned on unsafe and harmful datasets. While this setting has been treated extensively, another popular training paradigm, learning from unsafe feedback with reinforcement learning, has previously been unexplored. This is concerning due to the widespread deployment of feedback collection systems. We address this gap by providing an analysis of learning settings where feedback is harmful, i.e. that unsafe samples are preferred over safe ones despite model developers goal to maintain safety. We find that safety-aligned LLMs easily explore unsafe action spaces via generating harmful text and optimize for reward that violates safety constraints indicating that current safety guards are not enough to prevent learning from unsafe feedback. In order to protect against this vulnerability, we adapt a number of both "implict" and "explicit" harmful fine-tuning defences to evaluate whether they are effective as learning constraints in an RLHF setting finding that no method is generally effective pointing to the need for more defence research. We end the paper with the observation that some defences work by performing "harmless reward hacking" for which we provide a theoretical explanation drawn from the theory of Constrained Markov Decision Processes and provide some direction for future defence development.
• Abstract（参考訳）: 大規模言語モデル(LLM)を人的価値と整合させ、推論時に安全な振る舞いを確保するための進歩があるが、安全でない有害なデータセットを微調整すると、安全ガードを簡単に取り除くことができる。 この設定は広く扱われてきたが、他の人気のあるトレーニングパラダイムである、強化学習による安全でないフィードバックから学ぶことは、これまで研究されていない。 これはフィードバック収集システムが広く展開されているためである。 モデル開発者が安全性を維持することを目標にしているにもかかわらず、安全でないサンプルの方が安全でないサンプルの方が望ましいという、フィードバックが有害な学習環境の分析を提供することで、このギャップに対処する。 安全に配慮したLLMは、有害なテキストを生成し、現在の安全ガードが安全でないフィードバックから学ぶのに十分でないことを示す報酬を最適化することで、安全に配慮した行動空間を容易に探索することを発見した。 この脆弱性から保護するために、我々は、RLHF設定において学習制約として有効であるかどうかを評価するために、多くの有害な「単純」かつ「明示的」な微調整ディフェンスを適用する。 本稿は,制約マルコフ決定過程の理論から導かれた理論的説明を提示し,今後の防衛開発に向けた何らかの方向性を提供する「無害報酬ハッキング」を行うことによって,一部の防衛が機能することを示す。

関連論文リスト

• Vulnerability Mitigation for Safety-Aligned Language Models via Debiasing [12.986006070964772]
  安全性アライメントは、現実世界のAIアプリケーションにとって重要な研究トピックである。 本研究はまず,モデルの有用性を犠牲にすることなく,このような脆弱性を除去することの難しさを明らかにした。 本手法は,安全性を維持しつつモデルの有用性を高め,トレードオフを改善できる。
  論文  参考訳（メタデータ） (2025-02-04T09:31:54Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Breach By A Thousand Leaks: Unsafe Information Leakage in `Safe' AI Responses [42.136793654338106]
  モデル出力の不可避な情報漏洩に基づく新しい安全性評価フレームワークを提案する。 我々は,情報検閲の安全性を確保するために,防衛機構が情報検閲を確実にする必要があることを示す。
  論文  参考訳（メタデータ） (2024-07-02T16:19:25Z)
• From Representational Harms to Quality-of-Service Harms: A Case Study on Llama 2 Safety Safeguards [4.0645651835677565]
  我々は、既に緩和されたバイアスのモデルを評価することにより、安全対策の有効性を検討する。 非有毒なプロンプトのセットを作成し、それをLlamaモデルの評価に用いる。 安全と健康のトレードオフは、サービス品質の害につながる可能性のある特定の人口集団にとってより顕著である。
  論文  参考訳（メタデータ） (2024-03-20T00:22:38Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Approximate Shielding of Atari Agents for Safe Exploration [83.55437924143615]
  遮蔽の概念に基づく安全な探索のための原理的アルゴリズムを提案する。 本稿では,我々の近似遮蔽アルゴリズムが安全違反率を効果的に低減することを示す予備的な結果を示す。
  論文  参考訳（メタデータ） (2023-04-21T16:19:54Z)
• Provable Safe Reinforcement Learning with Binary Feedback [62.257383728544006]
  状態, アクションペアの安全性に対するバイナリフィードバックを提供するオフラインオラクルへのアクセスを与えられた場合, 証明可能な安全なRLの問題を考える。 我々は,その設定に対してブラックボックスPAC RLアルゴリズムに与えられた任意のMDP設定に適用可能な,新しいメタアルゴリズムSABREを提案する。
  論文  参考訳（メタデータ） (2022-10-26T05:37:51Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。