論文の概要: Phi-3 Safety Post-Training: Aligning Language Models with a "Break-Fix" Cycle
- arxiv url: http://arxiv.org/abs/2407.13833v2
- Date: Fri, 23 Aug 2024 00:04:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 19:17:18.808894
- Title: Phi-3 Safety Post-Training: Aligning Language Models with a "Break-Fix" Cycle
- Title（参考訳）: Phi-3 トレーニング後の安全性: "Break-Fix" サイクルによる言語モデルの調整
- Authors: Emman Haider, Daniel Perez-Becker, Thomas Portet, Piyush Madan, Amit Garg, Atabak Ashfaq, David Majercak, Wen Wen, Dongwoo Kim, Ziyi Yang, Jianwen Zhang, Hiteshi Sharma, Blake Bullwinkel, Martin Pouliot, Amanda Minnich, Shiven Chawla, Solianna Herrera, Shahed Warreth, Maggie Engler, Gary Lopez, Nina Chikanov, Raja Sekhar Rao Dheekonda, Bolor-Erdene Jagdagdorj, Roman Lutz, Richard Lundeen, Tori Westerhoff, Pete Bryan, Christian Seifert, Ram Shankar Siva Kumar, Andrew Berkley, Alex Kessler,
- Abstract要約: 本稿では,Phi-3シリーズの言語モデルの安全性向上のための手法を提案する。
サイクルを利用して、複数のデータセットキュレーション、安全後のトレーニング、ベンチマーク、レッドチーム、脆弱性識別を実行します。
結果は、このアプローチが幅広いAIベンチマークでPhi-3モデルの性能を反復的に改善したことを示している。
- 参考スコア（独自算出の注目度）: 11.619942198710334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent innovations in language model training have demonstrated that it is possible to create highly performant models that are small enough to run on a smartphone. As these models are deployed in an increasing number of domains, it is critical to ensure that they are aligned with human preferences and safety considerations. In this report, we present our methodology for safety aligning the Phi-3 series of language models. We utilized a "break-fix" cycle, performing multiple rounds of dataset curation, safety post-training, benchmarking, red teaming, and vulnerability identification to cover a variety of harm areas in both single and multi-turn scenarios. Our results indicate that this approach iteratively improved the performance of the Phi-3 models across a wide range of responsible AI benchmarks. Finally, we include additional red teaming strategies and evaluations that were used to test the safety behavior of Phi-3.5-mini and Phi-3.5-MoE, which were optimized for multilingual capabilities.
- Abstract（参考訳）: 近年の言語モデルトレーニングの革新により,スマートフォン上で動作可能な小型の高性能モデルを作成することが可能になった。
これらのモデルは、ますます多くのドメインに展開されるため、人間の好みや安全性に適合していることを保証することが重要である。
本稿では,Phi-3シリーズの言語モデルの安全性向上のための手法を提案する。
私たちは"ブレークフィックス"サイクルを利用して、データセットのキュレーション、トレーニング後の安全性、ベンチマーク、レッドチーム、脆弱性の識別を複数回実施して、シングルターンシナリオとマルチターンシナリオの両方でさまざまな障害領域をカバーしました。
提案手法は,幅広いAIベンチマークにおいて,Phi-3モデルの性能を反復的に向上させることが示唆された。
最後に、多言語機能に最適化されたPhi-3.5-miniとPhi-3.5-MoEの安全性挙動をテストするために用いられた、追加のレッドチーム戦略と評価を含む。
関連論文リスト
- In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [97.82118821263825]
テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。
ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。
我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
論文 参考訳（メタデータ） (2024-11-25T04:17:24Z) - Steering Language Model Refusal with Sparse Autoencoders [16.78963326253821]
拒否動作を媒介するPhi-3 Miniの特徴を同定し,操舵する。
機能ステアリングはPhi-3 Minisのロバスト性を向上し,さまざまな障害に対するジェイルブレイクの試みに有効であることがわかった。
しかし、機能ステアリングはベンチマーク全体のパフォーマンスに悪影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2024-11-18T05:47:02Z) - Prefix Guidance: A Steering Wheel for Large Language Models to Defend Against Jailbreak Attacks [27.11523234556414]
我々は,プリフィックスガイダンス(PG)という,プラグアンドプレイで容易に配置可能なジェイルブレイク防御フレームワークを提案する。
PGは、モデルの出力の最初の数個のトークンを直接設定することで、有害なプロンプトを特定するようモデルに誘導する。
3つのモデルと5つの攻撃方法におけるPGの有効性を実証する。
論文 参考訳（メタデータ） (2024-08-15T14:51:32Z) - SEAS: Self-Evolving Adversarial Safety Optimization for Large Language Models [19.486685336959482]
大規模言語モデル(LLM)は能力と影響力を向上し続け、セキュリティを確保し、有害な出力を防ぐことが重要になっている。
これらの問題に対処するための有望なアプローチは、レッドチームのための敵のプロンプトを自動的に生成するトレーニングモデルである。
mathbfStextelf-mathbfEtextvolving mathbfAtextdversarial mathbfStextafetyety mathbf(SEAS)$ Optimization frameworkを紹介します。
SEASはイニシアティブ、アタック、アドバーサの3段階を繰り返す。
論文 参考訳（メタデータ） (2024-08-05T16:55:06Z) - What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。
安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。
これを用いて,3つのよく知られた安全微調整手法について検討する。
論文 参考訳（メタデータ） (2024-07-14T16:12:57Z) - SecureBERT and LLAMA 2 Empowered Control Area Network Intrusion
Detection and Classification [2.824211356106516]
我々は、CAN侵入検知のための2つの異なるモデル、CAN-SecureBERTとCAN-LLAMA2を開発した。
Can-LLAMA2モデルは、バランスの取れた精度、精度検出率、F1スコア、そして驚くほど低い3.10e-6の誤警報率で、例外的なパフォーマンス 0.999993 を達成することで、最先端モデルを上回る。
論文 参考訳（メタデータ） (2023-11-19T23:49:08Z) - Text generation for dataset augmentation in security classification
tasks [55.70844429868403]
本研究では、複数のセキュリティ関連テキスト分類タスクにおいて、このデータギャップを埋めるための自然言語テキストジェネレータの適用性を評価する。
我々は,GPT-3データ拡張戦略において,既知の正のクラスサンプルに厳しい制約がある状況において,大きなメリットを見出した。
論文 参考訳（メタデータ） (2023-10-22T22:25:14Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳（メタデータ） (2023-02-08T11:54:07Z) - On Adversarial Robustness of Point Cloud Semantic Segmentation [16.89469632840972]
PCSSは、自律運転のような多くの安全クリティカルなアプリケーションに適用されている。
本研究は, PCSS モデルが敵対的サンプルにどのような影響を及ぼすかを示す。
我々は研究コミュニティの注意を喚起し、PCSSモデルを強化するための新しいアプローチを開発する。
論文 参考訳（メタデータ） (2021-12-11T00:10:00Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） (2021-11-04T12:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。