論文の概要: SEAL: Safety-enhanced Aligned LLM Fine-tuning via Bilevel Data Selection

• arxiv url: http://arxiv.org/abs/2410.07471v1
• Date: Fri, 11 Oct 2024 01:05:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 16:56:23.230380
• Title: SEAL: Safety-enhanced Aligned LLM Fine-tuning via Bilevel Data Selection
• Title（参考訳）: SEAL:二レベルデータ選択による安全性向上LLMファインチューニング
• Authors: Han Shen, Pin-Yu Chen, Payel Das, Tianyi Chen,
• Abstract要約: SEALは、二段階最適化に基づいてデータローカを学習し、安全で高品質な微調整データをランク付けし、安全でないものや低品質なものをランク付けする。 SEALで訓練されたモデルは、複数のベースラインよりも優れた品質を示し、ランダム選択に比べて8.5%と9.7%の勝利率が上昇した。
• 参考スコア（独自算出の注目度）: 92.38300626647342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning on task-specific data to boost downstream performance is a crucial step for leveraging Large Language Models (LLMs). However, previous studies have demonstrated that fine-tuning the models on several adversarial samples or even benign data can greatly comprise the model's pre-equipped alignment and safety capabilities. In this work, we propose SEAL, a novel framework to enhance safety in LLM fine-tuning. SEAL learns a data ranker based on the bilevel optimization to up rank the safe and high-quality fine-tuning data and down rank the unsafe or low-quality ones. Models trained with SEAL demonstrate superior quality over multiple baselines, with 8.5% and 9.7% win rate increase compared to random selection respectively on Llama-3-8b-Instruct and Merlinite-7b models. Our code is available on github https://github.com/hanshen95/SEAL.
• Abstract（参考訳）: ダウンストリームパフォーマンスを高めるためにタスク固有のデータを微調整することは、LLM(Large Language Models)を活用する上で重要なステップである。 しかし、以前の研究では、いくつかの反対サンプルや良質なデータにモデルを微調整することで、モデルが予め装備されたアライメントと安全性の能力を大きく構成できることが示されている。 本研究では,LLMファインチューニングにおける安全性向上のための新しいフレームワークであるSEALを提案する。 SEALは、二段階最適化に基づいてデータローカを学習し、安全で高品質な微調整データをランク付けし、安全でないものや低品質なものをランク付けする。 SEALで訓練されたモデルは、Llama-3-8b-InstructモデルとMerlinite-7bモデルでそれぞれランダム選択と比較して8.5%と9.7%の勝利率で、複数のベースラインよりも優れた品質を示している。 私たちのコードはgithub https://github.com/hanshen95/SEAL.comで利用可能です。

関連論文リスト

• Efficient Safety Retrofitting Against Jailbreaking for LLMs [0.4711628883579317]
  直接選好最適化 (DPO) は, 選好データに基づく学習により, LLM を好ましい出力に向けて操る, 効率的なアライメント手法である。 本稿では,データ要求とトレーニングコストを最小限に抑えつつ,DPOの脱獄攻撃に対するモデル安全性の有効性について検討する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:18Z)
• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• BARE: Combining Base and Instruction-Tuned Language Models for Better Synthetic Data Generation [71.46236155101032]
  本研究では,ベースモデルの多様性とインストラクション学習モデルの品質を組み合わせた合成データ生成手法であるBase-Refineを提案する。 BARE生成データによる微調整は, GSM8Kの命令のみのデータよりも101%, RAFTのSOTA法より18.4%向上することを示す。
  論文  参考訳（メタデータ） (2025-02-03T00:12:40Z)
• Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging [43.44112117935541]
  下流タスクのための細調整された大型言語モデル(LLM)は、安全に整合したLLMの安全性を低下させる。 下流タスク性能を向上しつつ, LLM 固有の安全性を維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-27T08:03:22Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Language Models [39.56233272612982]
  現在の視覚大言語モデル(VLLM)は、有害なコンテンツを生成する傾向があり、ジェイルブレイク攻撃に弱い。 最初の分析では、視覚言語指導の微調整中に有害なデータが存在することが原因であることが判明した。 この問題に対処するために、まず、様々な有害なカテゴリをカバーする視覚言語安全な命令追従データセットVLGuardをキュレートする。
  論文  参考訳（メタデータ） (2024-02-03T16:43:42Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Safer-Instruct: Aligning Language Models with Automated Preference Data [20.177660013450176]
  人間のフィードバックからの強化学習は、言語モデルにおけるモデル能力を高めるための重要な戦略である。 大規模嗜好データを自動的に構築する新しいパイプラインであるSafer-Instructを提案する。 提案手法は, 高精度な選好データを生成するために, 逆命令チューニング, 命令誘導, エキスパートモデル評価を利用する。
  論文  参考訳（メタデータ） (2023-11-15T04:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。