論文の概要: Cross-Task Defense: Instruction-Tuning LLMs for Content Safety

• arxiv url: http://arxiv.org/abs/2405.15202v1
• Date: Fri, 24 May 2024 04:14:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 18:09:00.227428
• Title: Cross-Task Defense: Instruction-Tuning LLMs for Content Safety
• Title（参考訳）: クロスタスクディフェンス:コンテンツ安全のためのインストラクションチューニングLDM
• Authors: Yu Fu, Wen Xiao, Jia Chen, Jiachen Li, Evangelos Papalexakis, Aichi Chien, Yue Dong,
• Abstract要約: 大きな言語モデル(LLM)は、安全性とユーティリティのバランスをとる上での課題に直面します。 悪意のある短い質問に対する防御にもかかわらず、不正行為を教えるマニュアルなど、LLMが危険な長文を安全に扱える能力は、まだ不明である。 安全関連事例からなる防衛データセットを導入し,学習指導のための単一タスクと混合タスクの損失を提案する。
• 参考スコア（独自算出の注目度）: 20.00136552026715
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent studies reveal that Large Language Models (LLMs) face challenges in balancing safety with utility, particularly when processing long texts for NLP tasks like summarization and translation. Despite defenses against malicious short questions, the ability of LLMs to safely handle dangerous long content, such as manuals teaching illicit activities, remains unclear. Our work aims to develop robust defenses for LLMs in processing malicious documents alongside benign NLP task queries. We introduce a defense dataset comprised of safety-related examples and propose single-task and mixed-task losses for instruction tuning. Our empirical results demonstrate that LLMs can significantly enhance their capacity to safely manage dangerous content with appropriate instruction tuning. Additionally, strengthening the defenses of tasks most susceptible to misuse is effective in protecting LLMs against processing harmful information. We also observe that trade-offs between utility and safety exist in defense strategies, where Llama2, utilizing our proposed approach, displays a significantly better balance compared to Llama1.
• Abstract（参考訳）: 近年の研究では、特に要約や翻訳といったNLPタスクの長いテキストを処理する場合、LLM(Large Language Models)は、安全性とユーティリティのバランスをとる上で課題に直面していることが明らかになっている。 悪意のある短い質問に対する防御にもかかわらず、不正行為を教えるマニュアルなど、LLMが危険な長文を安全に扱える能力は、まだ不明である。 本研究の目的は,NLPタスククエリと並行して,悪意のあるドキュメントを処理するLLMの堅牢な防御を開発することである。 安全関連事例からなる防衛データセットを導入し,学習指導のための単一タスクと混合タスクの損失を提案する。 実験の結果, LLM は, 適切な指導調律を施して, 危険なコンテンツを安全に管理する能力を大幅に向上できることが示された。 さらに、誤用に最も影響されるタスクの防御を強化することは、有害な情報の処理からLLMを保護するのに有効である。 また,Llama2 は Llama1 と比較した場合, 実用性と安全性のトレードオフが防衛戦略に存在し, Llama2 はLlama1 よりもはるかに優れたバランスを示す。

関連論文リスト

• Nothing in Excess: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  重大言語モデル(LLM)が悪意のある命令から脅威を守るためには、安全性の調整が不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Tamper-Resistant Safeguards for Open-Weight LLMs [57.90526233549399]
  オープンウェイトLLMにタンパ耐性保護具を組み込む方法を開発した。 本手法は良性を保持しながらタンパー抵抗を大幅に改善する。 以上の結果から, タンパー抵抗はトラクタブルな問題であることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T17:59:12Z)
• Purple-teaming LLMs with Adversarial Defender Training [57.535241000787416]
  本稿では,PAD(Adversarial Defender Training)を用いたPurple-teaming LLMを提案する。 PADは、赤チーム(アタック)技術と青チーム(セーフティトレーニング)技術を新たに取り入れることで、LSMを保護するために設計されたパイプラインである。 PADは、効果的な攻撃と堅牢な安全ガードレールの確立の両方において、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-07-01T23:25:30Z)
• SLM as Guardian: Pioneering AI Safety with Small Language Models [6.799423428734095]
  より大型のモデルにセーフガード機能を組み込むことで、トレーニングコストの上昇と意図しない有用性の低下が問題となった。 本稿では、有害なクエリ検出とセーフガード応答生成の両方に、より小さなLSMを利用する。 提案手法の有効性を実証し,LLMと比較して,有害なクエリ検出およびセーフガード応答性能を同等又は超過する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T08:03:15Z)
• Robustifying Safety-Aligned Large Language Models through Clean Data Curation [11.273749179260468]
  大きな言語モデル(LLM)は、有害なコンテンツを含むデータセットでトレーニングされた場合、脆弱性がある。 本稿では,両シナリオにおける敵対的影響に対処するためのデータキュレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:50:38Z)
• MoGU: A Framework for Enhancing Safety of Open-Sourced LLMs While Preserving Their Usability [25.750371424096436]
  大規模言語モデル(LLM)は、様々なアプリケーションにますます多くデプロイされている。 我々の研究は、既存の防衛戦略がLLMに主に拒絶指向の姿勢を採用することを示唆している。 ユーザビリティを保ちつつ,LLMの安全性を高めるために設計されたMoGUフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-23T12:19:59Z)
• Learning to Poison Large Language Models During Instruction Tuning [12.521338629194503]
  この研究は、命令チューニングプロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• ROSE Doesn't Do That: Boosting the Safety of Instruction-Tuned Large Language Models with Reverse Prompt Contrastive Decoding [89.0074567748505]
  本稿では,既存の命令調整LDMの安全性を高めるための簡易な手法であるROSE(Reverse prompt contrastive decoding)を提案する。 6つの安全性と2つの汎用タスクの実験から、ROSEは5種類の命令調整LDMに対して、一貫した、重要な安全性向上(+13.8%の安全性スコア)をもたらすだけでなく、LLMの汎用能力にも恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2024-02-19T06:58:42Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• Safety Alignment in NLP Tasks: Weakly Aligned Summarization as an In-Context Attack [20.551730528019338]
  メインストリームNLPタスクは安全配慮に適切に適合しているか? 本研究は, 各種NLPタスクの安全性の相違について明らかにした。 セキュリティアライメントの弱いタスクを悪用するアタックは、従来より堅牢と考えられていたタスクの整合性を損なう可能性がある。
  論文  参考訳（メタデータ） (2023-12-12T01:39:29Z)
• Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks [67.86285142381644]
  命令追従型大規模言語モデルの最近の進歩は、悪意のある目的のために二重使用リスクを増幅する。 命令追従機能がコンピュータセキュリティの標準的な攻撃を可能にするため、デュアルユースを防ぐのは難しい。 本研究では,LLMがヘイトスピーチや詐欺などの悪意のあるコンテンツをターゲットにすることができることを示す。
  論文  参考訳（メタデータ） (2023-02-11T15:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。