論文の概要: Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing

• arxiv url: http://arxiv.org/abs/2406.08464v2
• Date: Mon, 07 Oct 2024 01:45:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 18:00:26.361605
• Title: Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing
• Title（参考訳）: Magpie: 配向LCMの無印加によるスクラッチからの配向データ合成
• Authors: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Yuntian Deng, Radha Poovendran, Yejin Choi, Bill Yuchen Lin,
• Abstract要約: 我々はMagpieという名の大規模アライメントデータを生成する自己合成法を提案する。 我々はこの手法を用いてLlama-3-Instructを誘導し、対応する応答とともに400万の命令を生成する。 以上の結果から,Magpieを微調整したモデルでは,公式のLlama-3-8B-インストラクトと同等に動作することが示唆された。
• 参考スコア（独自算出の注目度）: 48.07915731998946
• License:
• Abstract: High-quality instruction data is critical for aligning large language models (LLMs). Although some models, such as Llama-3-Instruct, have open weights, their alignment data remain private, which hinders the democratization of AI. High human labor costs and a limited, predefined scope for prompting prevent existing open-source data creation methods from scaling effectively, potentially limiting the diversity and quality of public alignment datasets. Is it possible to synthesize high-quality instruction data at scale by extracting it directly from an aligned LLM? We present a self-synthesis method for generating large-scale alignment data named Magpie. Our key observation is that aligned LLMs like Llama-3-Instruct can generate a user query when we input only the left-side templates up to the position reserved for user messages, thanks to their auto-regressive nature. We use this method to prompt Llama-3-Instruct and generate 4 million instructions along with their corresponding responses. We perform a comprehensive analysis of the extracted data and select 300K high-quality instances. To compare Magpie data with other public instruction datasets, we fine-tune Llama-3-8B-Base with each dataset and evaluate the performance of the fine-tuned models. Our results indicate that in some tasks, models fine-tuned with Magpie perform comparably to the official Llama-3-8B-Instruct, despite the latter being enhanced with 10 million data points through supervised fine-tuning (SFT) and subsequent feedback learning. We also show that using Magpie solely for SFT can surpass the performance of previous public datasets utilized for both SFT and preference optimization, such as direct preference optimization with UltraFeedback. This advantage is evident on alignment benchmarks such as AlpacaEval, ArenaHard, and WildBench.
• Abstract（参考訳）: 高品質な命令データは、大きな言語モデル(LLM)の整合に不可欠である。 Llama-3-Instructのようなモデルの中にはオープンウェイトを持つものもあるが、アライメントデータは非公開のままであり、AIの民主化を妨げる。 人件費の高騰と、既存のオープンソースのデータ生成手法のスケーリングを効果的に防ぎ、公開アライメントデータセットの多様性と品質を制限している可能性がある。 整列 LLM から直接抽出することで,高品質な命令データを大規模に合成することは可能か? 我々はMagpieという名の大規模アライメントデータを生成する自己合成法を提案する。 我々のキーとなる観察は、Llama-3-Instructのような整列 LLM は、左のテンプレートのみをユーザメッセージに予約された位置まで入力すると、その自動回帰性のおかげで、ユーザクエリを生成することができるということです。 我々はこの手法を用いてLlama-3-Instructを誘導し、対応する応答とともに400万の命令を生成する。 抽出したデータの包括的分析を行い,300Kの高品質なインスタンスを選択する。 Magpieデータを他の公開命令データセットと比較するために、Llama-3-8B-Baseを各データセットに微調整し、微調整されたモデルの性能を評価する。 以上の結果から,Magpieで微調整したモデルでは,教師付き微調整(SFT)とその後のフィードバック学習によって1000万のデータポイントが拡張されているにもかかわらず,公式のLlama-3-8Bインストラクトと同等に動作することが示唆された。 また、SFTのみにMagpieを使用することで、UltraFeedbackによる直接選好最適化など、SFTと選好最適化の両方に使用されていた過去の公開データセットの性能を上回ることができることを示す。 この利点はAlpacaEval、ArenaHard、WildBenchなどのアライメントベンチマークで明らかである。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Automated Data Curation for Robust Language Model Fine-Tuning [13.8454385440986]
  本稿では,データセットのチューニングを行うための自動データキュレーションパイプライン CLEAR を提案する。 CLEARは、どのトレーニングデータが低品質であるかを見積もる。 実験の結果、CLEARは多くのデータセットやモデルにまたがって微調整されたモデルの性能を一貫して改善していることがわかった。
  論文  参考訳（メタデータ） (2024-03-19T14:44:45Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。