論文の概要: Zephyr: Direct Distillation of LM Alignment
- arxiv url: http://arxiv.org/abs/2310.16944v1
- Date: Wed, 25 Oct 2023 19:25:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-27 23:47:01.573112
- Title: Zephyr: Direct Distillation of LM Alignment
- Title(参考訳): Zephyr: LMアライメントの直接蒸留
- Authors: Lewis Tunstall, Edward Beeching, Nathan Lambert, Nazneen Rajani,
Kashif Rasul, Younes Belkada, Shengyi Huang, Leandro von Werra, Cl\'ementine
Fourrier, Nathan Habib, Nathan Sarrazin, Omar Sanseviero, Alexander M. Rush,
and Thomas Wolf
- Abstract要約: ユーザ意図に合わせた,より小さな言語モデルの実現を目指しています。
従来の研究では、より大規模なモデルに教師付き微調整(dSFT)を適用することにより、タスクの精度が大幅に向上することが示されている。
蒸留直接選好最適化(dDPO)を用いて,意図のアライメントを大幅に改善したチャットモデルを学習する。
- 参考スコア(独自算出の注目度): 59.03530095974505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We aim to produce a smaller language model that is aligned to user intent.
Previous research has shown that applying distilled supervised fine-tuning
(dSFT) on larger models significantly improves task accuracy; however, these
models are unaligned, i.e. they do not respond well to natural prompts. To
distill this property, we experiment with the use of preference data from AI
Feedback (AIF). Starting from a dataset of outputs ranked by a teacher model,
we apply distilled direct preference optimization (dDPO) to learn a chat model
with significantly improved intent alignment. The approach requires only a few
hours of training without any additional sampling during fine-tuning. The final
result, Zephyr-7B, sets the state-of-the-art on chat benchmarks for 7B
parameter models, and requires no human annotation. In particular, results on
MT-Bench show that Zephyr-7B surpasses Llama2-Chat-70B, the best open-access
RLHF-based model. Code, models, data, and tutorials for the system are
available at https://github.com/huggingface/alignment-handbook.
- Abstract(参考訳): ユーザ意図に合わせた,より小さな言語モデルの実現を目指しています。
従来の研究では、蒸留された教師付き微調整(dSFT)をより大きなモデルに適用するとタスクの精度が大幅に向上することが示されているが、これらのモデルは不整合である。
この特性を抽出するために,AIF(AI Feedback)の嗜好データを用いて実験を行った。
教師モデルによってランク付けされた出力のデータセットから始め、蒸留直接選好最適化(dDPO)を適用して、意図のアライメントを大幅に改善したチャットモデルを学習する。
このアプローチは、微調整の間、追加のサンプリングなしで、わずか数時間のトレーニングを必要とする。
最後の結果であるzephyr-7bは、7bパラメータモデルのチャットベンチマークを最先端に設定し、人間のアノテーションを必要としない。
特にMT-Benchの結果は、Zephyr-7BがLlama2-Chat-70Bを超えることを示している。
システムのコード、モデル、データ、チュートリアルはhttps://github.com/huggingface/alignment-handbook.comにある。
関連論文リスト
- Aligning Modalities in Vision Large Language Models via Preference
Fine-tuning [67.62925151837675]
本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。
具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。
提案手法は,好ましくないデータを生成するための2段階のアプローチである。
広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
論文 参考訳(メタデータ) (2024-02-18T00:56:16Z) - Dissecting Human and LLM Preferences [80.55271307662365]
人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。
GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。
嗜好に基づく評価は意図的に操作可能であることを示す。
論文 参考訳(メタデータ) (2024-02-17T14:34:31Z) - RAIN: Your Language Models Can Align Themselves without Finetuning [25.703729145091483]
大型言語モデル(LLM)は人間の好みと矛盾することが多い。
本研究では,不整合 LLM が自己ブーイングによって直接人間の嗜好に整合した応答を生成可能であることを示す。
本稿では,自己回帰推論(Rewindable Auto-Regressive Inference)という新しい推論手法を導入する。
論文 参考訳(メタデータ) (2023-09-13T17:59:09Z) - How Far Can Camels Go? Exploring the State of Instruction Tuning on Open
Resources [117.6496550359768]
この研究は、オープンな命令追従データセットにおける命令チューニング言語モデルの最近の進歩を探求する。
我々は、12の命令データセットに基づいて訓練された6.7Bから65Bのパラメータを含む、命令調整されたモデルの大規模なセットを提供する。
それらの事実的知識、推論、多言語性、コーディング、そしてその後に続くオープン・エンド・インストラクションに基づいて評価する。
論文 参考訳(メタデータ) (2023-06-07T19:59:23Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced
Medical Image Analysis [1.3443196224057659]
ディープニューラルネットワークには、多数のパラメータと操作が含まれている。
計算資源が限られているデバイス上でこれらのモデルを実装するのは困難である。
本研究では,フィルタの入力と出力を,不均衡なデータセットを扱うフィルタの値とともに考慮し,新しいフィルタプルーニング手法を提案する。
論文 参考訳(メタデータ) (2023-04-15T03:05:47Z) - Fair Generative Models via Transfer Learning [39.12323728810492]
公平な生成モデルを学ぶための伝達学習手法である FairTL を提案する。
i) 複数フィードバック, (ii) 線形プロブリング, 次いでファインチューニングの2つの改良点を紹介した。
大規模な実験により、fairTLとfairTL++は、生成されたサンプルの品質と公平性の両方において最先端を実現している。
論文 参考訳(メタデータ) (2022-12-02T01:44:38Z) - Deconstructing Distributions: A Pointwise Framework of Learning [15.517383696434162]
テスト分布におけるモデルの平均性能と、この個々の点におけるポイントワイズ性能の関係について調べる。
プロファイルは、モデルとデータの構造 -- 分布の内外 -- に新しい洞察を与えることができる。
論文 参考訳(メタデータ) (2022-02-20T23:25:28Z) - Do We Really Need Deep Learning Models for Time Series Forecasting? [4.2698418800007865]
時系列予測は、幅広い応用があるため、機械学習において重要なタスクである。
ディープラーニングとマトリックスファクタリゼーションモデルは、より競争力のあるパフォーマンスで同じ問題に取り組むために最近提案されている。
本稿では,これらの高度に複雑なディープラーニングモデルが代替手段がないかどうかを問う。
論文 参考訳(メタデータ) (2021-01-06T16:18:04Z) - Learnable Boundary Guided Adversarial Training [66.57846365425598]
私たちは、あるクリーンモデルからのモデルロジットを使用して、別のロバストモデルの学習をガイドします。
我々は、CIFAR-100上で、追加の実データや合成データなしで、新しい最先端のロバスト性を実現する。
論文 参考訳(メタデータ) (2020-11-23T01:36:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。