論文の概要: GOLD: Generalized Knowledge Distillation via Out-of-Distribution-Guided Language Data Generation
- arxiv url: http://arxiv.org/abs/2403.19754v1
- Date: Thu, 28 Mar 2024 18:08:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 17:33:35.713608
- Title: GOLD: Generalized Knowledge Distillation via Out-of-Distribution-Guided Language Data Generation
- Title（参考訳）: GOLD:アウト・オブ・ディストリビューション型言語データ生成による一般知識蒸留
- Authors: Mohsen Gholami, Mohammad Akbari, Cindy Hu, Vaden Masrani, Z. Jane Wang, Yong Zhang,
- Abstract要約: 金はタスクに依存しないデータ生成および知識蒸留フレームワークである。
LLMには反復的なアウト・オブ・ディストリビューション誘導フィードバック機構が採用されている。
ノイズ発生データを扱うためのエネルギーベースOOD評価手法も導入されている。
- 参考スコア（独自算出の注目度）: 21.56082253577229
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation from LLMs is essential for the efficient deployment of language models. Prior works have proposed data generation using LLMs for preparing distilled models. We argue that generating data with LLMs is prone to sampling mainly from the center of original content distribution. This limitation hinders the distilled model from learning the true underlying data distribution and to forget the tails of the distributions (samples with lower probability). To this end, we propose GOLD, a task-agnostic data generation and knowledge distillation framework, which employs an iterative out-of-distribution-guided feedback mechanism for the LLM. As a result, the generated data improves the generalizability of distilled models. An energy-based OOD evaluation approach is also introduced to deal with noisy generated data. Our extensive experiments on 10 different classification and sequence-to-sequence tasks in NLP show that GOLD respectively outperforms prior arts and the LLM with an average improvement of 5% and 14%. We will also show that the proposed method is applicable to less explored and novel tasks. The code is available.
- Abstract（参考訳）: LLMの知識蒸留は、言語モデルの効率的な展開に不可欠である。
以前の研究では、蒸留モデルの作成にLLMを用いたデータ生成が提案されていた。
LLMによるデータ生成は、主にオリジナルコンテンツ配信の中心からサンプリングされる傾向にある。
この制限は、蒸留されたモデルが真の基礎となるデータ分布を学習し、分布の尾部(確率の低いサンプル)を忘れることを妨げる。
この目的のために, LLM の反復的アウト・オブ・ディストリビューション誘導フィードバック機構を用いたタスク依存型データ生成・知識蒸留フレームワーク GOLD を提案する。
その結果, 生成したデータにより, 蒸留モデルの一般化性が向上した。
ノイズ発生データを扱うためのエネルギーベースOOD評価手法も導入されている。
NLPにおける10の異なる分類とシーケンス・ツー・シーケンスタスクに関する広範な実験により、GOLDは、それぞれ、5%と14%の平均的な改善で、先行技術とLLMより優れていることが示された。
また,提案手法は探索の少ない新しいタスクにも適用可能であることを示す。
コードは利用可能です。
関連論文リスト
- Training Task Experts through Retrieval Based Distillation [55.46054242512261]
ReBase(Retrieval Based Distillation)は、まずリッチなオンラインソースからデータを抽出し、それをドメイン固有のデータに変換する手法である。
SQADは最大7.8%,MNLIは1.37%,BigBench-Hardは1.94%向上した。
論文 参考訳（メタデータ） (2024-07-07T18:27:59Z) - Intermediate Distillation: Data-Efficient Distillation from Black-Box LLMs for Information Retrieval [7.441679541836913]
textit Intermediate Distillationは、大規模な言語モデルをブラックボックスとして扱い、革新的なLLM-ranker-retrieverパイプラインを通じて知識を蒸留する。
提案手法は,1000のトレーニングインスタンスしか持たないレトリバーモデルの性能を大幅に向上させることができる。
論文 参考訳（メタデータ） (2024-06-18T00:41:41Z) - ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。
以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
論文 参考訳（メタデータ） (2024-02-09T11:23:14Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳（メタデータ） (2024-01-02T18:53:13Z) - Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。
従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
論文 参考訳（メタデータ） (2023-12-19T12:34:46Z) - Data-Juicer: A One-Stop Data Processing System for Large Language Models [73.27731037450995]
データレシピは、大規模言語モデル(LLM)をトレーニングするための異なるソースからのデータの混合である。
我々はData-Juicerという新しいシステムを構築し、多様なデータレシピを効率的に生成できる。
Data-Juicerから派生したデータレシピは、最先端のLLMで顕著に改善されている。
論文 参考訳（メタデータ） (2023-09-05T08:22:07Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。