論文の概要: Improving LLM Safety and Helpfulness using SFT and DPO: A Study on OPT-350M

• arxiv url: http://arxiv.org/abs/2509.09055v1
• Date: Wed, 10 Sep 2025 23:22:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.172668
• Title: Improving LLM Safety and Helpfulness using SFT and DPO: A Study on OPT-350M
• Title（参考訳）: SFTとDPOによるLCMの安全性とヘルプフルネスの向上:OPT-350Mの検討
• Authors: Piyush Pant,
• Abstract要約: 我々は,基礎となるOPT350M,SFTモデル,DPOモデル,およびSFTとDPOの両方で訓練されたモデルという4つのモデルを訓練し,評価する。 その結果、SFTはDPOより優れているが、組み合わせSFT+DPOモデルはすべての指標で他よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research investigates the effectiveness of alignment techniques, Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), and a combined SFT+DPO approach on improving the safety and helpfulness of the OPT-350M language model. Utilizing the Anthropic Helpful-Harmless RLHF dataset, we train and evaluate four models: the base OPT350M, an SFT model, a DPO model, and a model trained with both SFT and DPO. We introduce three key evaluation metrics: Harmlessness Rate (HmR), Helpfulness Rate (HpR), and a Combined Alignment Score (CAS), all derived from reward model outputs. The results show that while SFT outperforms DPO, The combined SFT+DPO model outperforms all others across all metrics, demonstrating the complementary nature of these techniques. Our findings also highlight challenges posed by noisy data, limited GPU resources, and training constraints. This study offers a comprehensive view of how fine-tuning strategies affect model alignment and provides a foundation for more robust alignment pipelines in future work.
• Abstract（参考訳）: 本研究は,OPT-350M言語モデルの安全性と有用性向上のためのアライメント手法,SFT(Supervised Fine-Tuning),DPO(Direct Preference Optimization),SFT+DPO(Commered SFT+DPO)アプローチの有効性について検討する。 人類学的なHelpful-Harmless RLHFデータセットを用いて、ベースOPT350M、SFTモデル、DPOモデル、SFTとDPOの両方でトレーニングされたモデルという4つのモデルを訓練し、評価する。 我々は、報酬モデル出力から得られるハームレス率(HmR)、ヘルプフルネス率(HpR)、組合せアライメントスコア(CAS)の3つの主要な評価指標を紹介した。 その結果、SFTはDPOより優れているが、組み合わせSFT+DPOモデルは全ての指標で他よりも優れており、これらの手法の相補的な性質を示している。 また、ノイズの多いデータ、限られたGPUリソース、トレーニング制約によってもたらされる課題も浮き彫りになりました。 この研究は、微調整戦略がモデルアライメントにどのように影響するかを包括的に把握し、将来の作業においてより堅牢なアライメントパイプラインの基礎を提供する。

関連論文リスト

• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• From Drafts to Answers: Unlocking LLM Potential via Aggregation Fine-Tuning [31.95005389919542]
  データスケールとモデルサイズは、大規模言語モデルの性能向上に有効であることが証明されている。 本稿では,教師付きファインチューニングパラダイムであるAggregation Fine-Tuning(AFT)を紹介する。 ベンチマークデータセットの実証評価では、AFT訓練されたモデルは標準のSFTよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-01-21T04:11:59Z)
• ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood [14.512464277772194]
  Aligned Supervised Fine-Tuning (ASFT)は、大規模言語モデルとペアワイズデータセットの整合性を改善する効果的なアプローチである。 ASFTは、DPO損失関数が人間の不適切なデータを生成する確率を減少させる問題を緩和する。 大規模な実験により、ASFTは効果的なアライメントアプローチであり、既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-14T11:39:13Z)
• 3D-Properties: Identifying Challenges in DPO and Charting a Path Forward [17.27880657597116]
  我々はDPOを再考し、その理論的基礎と経験的性能を分析した。 DPOの学習過程から生じる3つの重要な特性、いわゆる3D特性を同定する。 トレーニングの安定性と性能を向上させるための簡単な正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-11T14:59:24Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• Triple Preference Optimization: Achieving Better Alignment using a Single Step Optimization [34.29965046863887]
  Triple Preference Optimization (TPO) は、推論能力と命令追従能力の両方を強化するために設計された新しい選好学習手法である。 TPOは、異なるデータセットサイズで応答長を大幅に増加させることなく、既存のメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-05-26T20:18:11Z)
• Model Extrapolation Expedites Alignment [135.12769233630362]
  本研究では,人選好によるアライメントトレーニングを迅速化するExPOという手法を提案する。 我々は、ExPOがトレーニングされたDPOモデルを20%のステップで強化し、完全に訓練されたモデルを上回ることを実証した。 ExPO は AlpacaEval 2.0 と MT-Bench ベンチマークにおいて,既存のオープンソース LLM を特に改善している。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
  大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。 本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-07-11T01:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。