論文の概要: MoGU: A Framework for Enhancing Safety of Open-Sourced LLMs While Preserving Their Usability

• arxiv url: http://arxiv.org/abs/2405.14488v1
• Date: Thu, 23 May 2024 12:19:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 15:15:02.608366
• Title: MoGU: A Framework for Enhancing Safety of Open-Sourced LLMs While Preserving Their Usability
• Title（参考訳）: MoGU: 使用性を維持しながらオープンソースLLMの安全性を高めるフレームワーク
• Authors: Yanrui Du, Sendong Zhao, Danyang Zhao, Ming Ma, Yuhan Chen, Liangyu Huo, Qing Yang, Dongliang Xu, Bing Qin,
• Abstract要約: 大規模言語モデル(LLM)は、様々なアプリケーションにますます多くデプロイされている。 我々の研究は、既存の防衛戦略がLLMに主に拒絶指向の姿勢を採用することを示唆している。 ユーザビリティを保ちつつ,LLMの安全性を高めるために設計されたMoGUフレームワークを紹介する。
• 参考スコア（独自算出の注目度）: 25.750371424096436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed in various applications. As their usage grows, concerns regarding their safety are rising, especially in maintaining harmless responses when faced with malicious instructions. Many defense strategies have been developed to enhance the safety of LLMs. However, our research finds that existing defense strategies lead LLMs to predominantly adopt a rejection-oriented stance, thereby diminishing the usability of their responses to benign instructions. To solve this problem, we introduce the MoGU framework, designed to enhance LLMs' safety while preserving their usability. Our MoGU framework transforms the base LLM into two variants: the usable LLM and the safe LLM, and further employs dynamic routing to balance their contribution. When encountering malicious instructions, the router will assign a higher weight to the safe LLM to ensure that responses are harmless. Conversely, for benign instructions, the router prioritizes the usable LLM, facilitating usable and helpful responses. On various open-sourced LLMs, we compare multiple defense strategies to verify the superiority of our MoGU framework. Besides, our analysis provides key insights into the effectiveness of MoGU and verifies that our designed routing mechanism can effectively balance the contribution of each variant by assigning weights. Our work released the safer Llama2, Vicuna, Falcon, Dolphin, and Baichuan2.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なアプリケーションにますます多くデプロイされている。 使用量が増えるにつれて、安全に関する懸念が高まり、特に悪意のある指示に直面した場合の無害な対応を維持している。 LLMの安全性を高めるため、多くの防衛戦略が開発されている。 しかし,本研究は,既存の防衛戦略がLLMの拒絶指向の姿勢を主眼として採用し,良心的指示に対する対応性を低下させることを示唆している。 この問題を解決するために,LLMの安全性を向上し,ユーザビリティを保ちつつMoGUフレームワークを導入する。 我々のMoGUフレームワークは、基本LLMを、使用可能なLLMと安全なLLMの2つの変種に変換する。 悪意のある命令に遭遇すると、ルータは安全なLLMにより高い重量を割り当て、応答が無害であることを保証します。 逆に、良質な命令に対して、ルータは使用可能なLLMを優先順位付けし、有用で有用な応答を容易にする。 様々なオープンソース LLM 上で,MoGU フレームワークの優位性を検証するために,複数の防衛戦略を比較した。 さらに,本分析はMoGUの有効性に関する重要な知見を提供し,設計したルーティング機構が重みを割り当てることで,各変数の寄与を効果的にバランスできることを示す。 私たちの研究はより安全なLlama2、Vicuna、Falcon、Dolphin、Baichuan2をリリースしました。

関連論文リスト

• Large Language Model Supply Chain: Open Problems From the Security Perspective [25.320736806895976]
  大規模言語モデル(LLM)はソフトウェア開発パラダイムを変えつつあり、学術と産業の両方から大きな注目を集めています。 各コンポーネントの潜在的なセキュリティリスクとLCM SCのコンポーネント間の統合について議論する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2024-11-03T15:20:21Z)
• Can a large language model be a gaslighter? [18.39951259823815]
  大きな言語モデル(LLM)は、その能力と有用性により、人間の信頼を得ています。 これにより、LLMは言語を操作することでユーザの考え方に影響を与える可能性がある。 本研究では,高速かつ微調整型ガス灯攻撃によるLSMの脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-10-11T18:35:27Z)
• Defending Large Language Models Against Jailbreak Attacks via Layer-specific Editing [14.094372002702476]
  大規模言語モデル(LLM)は、広範囲の現実世界のアプリケーションで採用されつつある。 近年の研究では、LSMは故意に構築された敵のプロンプトに弱いことが示されている。 そこで本研究では,新しい防衛手法である textbfLayer-specific textbfEditing (LED) を提案する。
  論文  参考訳（メタデータ） (2024-05-28T13:26:12Z)
• Cross-Task Defense: Instruction-Tuning LLMs for Content Safety [20.00136552026715]
  大きな言語モデル(LLM)は、安全性とユーティリティのバランスをとる上での課題に直面します。 悪意のある短い質問に対する防御にもかかわらず、不正行為を教えるマニュアルなど、LLMが危険な長文を安全に扱える能力は、まだ不明である。 安全関連事例からなる防衛データセットを導入し,学習指導のための単一タスクと混合タスクの損失を提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:14:32Z)
• ShieldLM: Empowering LLMs as Aligned, Customizable and Explainable Safety Detectors [90.73444232283371]
  ShieldLMは、LLM(Large Language Models)の安全性検出装置で、一般的な安全基準に準拠している。 ShieldLMは4つのテストセットにまたがる強力なベースラインを超えており、優れたカスタマイズ性と説明可能性を示している。
  論文  参考訳（メタデータ） (2024-02-26T09:43:02Z)
• ROSE Doesn't Do That: Boosting the Safety of Instruction-Tuned Large Language Models with Reverse Prompt Contrastive Decoding [89.0074567748505]
  本稿では,既存の命令調整LDMの安全性を高めるための簡易な手法であるROSE(Reverse prompt contrastive decoding)を提案する。 6つの安全性と2つの汎用タスクの実験から、ROSEは5種類の命令調整LDMに対して、一貫した、重要な安全性向上(+13.8%の安全性スコア)をもたらすだけでなく、LLMの汎用能力にも恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2024-02-19T06:58:42Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)
• MART: Improving LLM Safety with Multi-round Automatic Red-Teaming [72.2127916030909]
  本稿では,自動対向的なプロンプト書き込みと安全な応答生成の両方を組み込んだMulti-round Automatic Red-Teaming(MART)手法を提案する。 敵のプロンプトベンチマークでは、安全アライメントが制限されたLDMの違反率は、MARTの4ラウンド後に84.7%まで減少する。 特に、非敵対的なプロンプトに対するモデルの有用性は反復を通して安定しており、LLMは命令に対する強い性能を維持していることを示している。
  論文  参考訳（メタデータ） (2023-11-13T19:13:29Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。