論文の概要: Large Language Models Suffer From Their Own Output: An Analysis of the
Self-Consuming Training Loop
- arxiv url: http://arxiv.org/abs/2311.16822v1
- Date: Tue, 28 Nov 2023 14:36:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 18:20:33.746734
- Title: Large Language Models Suffer From Their Own Output: An Analysis of the
Self-Consuming Training Loop
- Title(参考訳): 大規模言語モデルは独自のアウトプットに苦しむ:自己消費型トレーニングループの分析
- Authors: Martin Briesch, Dominik Sobania, Franz Rothlauf
- Abstract要約: 大規模言語モデル(LLM)は多くのベンチマークで最先端となり、ChatGPTのような対話型アプリケーションは今や一般に広く使われている。
LLMは通常、インターネットから収集されるデータセットでトレーニングされるので、このLLM生成コンテンツは次世代のLLMのトレーニングに使用される可能性がある。
新たなデータセットを用いて,この自己消費学習ループを実験的に研究し,生成した出力の品質と多様性を解析的かつ正確に測定する。
- 参考スコア(独自算出の注目度): 0.9668407688201361
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLM) have become state of the art in many benchmarks
and conversational LLM applications like ChatGPT are now widely used by the
public. Those LLMs can be used to generate large amounts of content which is
posted on the internet to various platforms. As LLMs are trained on datasets
usually collected from the internet, this LLM-generated content might be used
to train the next generation of LLMs. Therefore, a self-consuming training loop
emerges in which new LLM generations are trained on the output from the
previous generations. We empirically study this self-consuming training loop
using a novel dataset to analytically and accurately measure quality and
diversity of generated outputs. We find that this self-consuming training loop
initially improves both quality and diversity. However, after a few generations
the output inevitably degenerates in diversity. We find that the rate of
degeneration depends on the proportion of real and generated data.
- Abstract(参考訳): 大規模言語モデル(LLM)は多くのベンチマークで最先端となり、ChatGPTのような会話型LLMアプリケーションは現在では広く使われている。
これらのLCMは、様々なプラットフォームにインターネット上にポストされる大量のコンテンツを生成するために使用することができる。
LLMは通常、インターネットから収集されるデータセットでトレーニングされるので、このLLM生成コンテンツは次世代のLLMのトレーニングに使用される可能性がある。
したがって、新しいllm世代が前世代からの出力に基づいて訓練される自己消費型トレーニングループが出現する。
新たなデータセットを用いて,この自己消費学習ループを実験的に研究し,生成した出力の品質と多様性を解析的かつ正確に測定する。
この自己消費トレーニングループは、最初は品質と多様性の両方を改善します。
しかし、数世代後、出力は必然的に多様性を減少させる。
縮退率は実データと生成データの比率に依存することが判明した。
関連論文リスト
- Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Under the Surface: Tracking the Artifactuality of LLM-Generated Data [21.002983022237604]
この研究は、人工データの生成において、大きな言語モデル(LLM)の役割を拡大するものである。
我々の知る限りでは、多種多様な LLM 生成テキストデータを収集する最初の研究である。
人工データの人間のパフォーマンスにマッチする能力にもかかわらず、本論文は重大な隠蔽格差を明らかにした。
論文 参考訳(メタデータ) (2024-01-26T07:53:27Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳(メタデータ) (2023-10-18T05:13:47Z) - CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large
Language Models in 167 Languages [86.90220551111096]
大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。
我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
論文 参考訳(メタデータ) (2023-09-17T23:49:10Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。