論文の概要: Why language models collapse when trained on recursively generated text

• arxiv url: http://arxiv.org/abs/2412.14872v1
• Date: Thu, 19 Dec 2024 14:11:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:57.759087
• Title: Why language models collapse when trained on recursively generated text
• Title（参考訳）: 再帰的に生成したテキストで学習した言語モデルが崩壊する理由
• Authors: Lecheng Wang, Xianjie Shi, Ge Li, Jia Li, Yihong Dong, Xuanming Zhang, Wenpin Jiao, Hong Mei,
• Abstract要約: 言語モデル(LM)は、インターネット上でテキストを生成するために広く使われている。 本稿では2つの側面から既存の知識に貢献する。 LM崩壊の理論的証明を示す。
• 参考スコア（独自算出の注目度）: 26.117724170912552
• License:
• Abstract: Language models (LMs) have been widely used to generate text on the Internet. The generated text is often collected into the training corpus of the next generations of LMs. Previous work has experimentally found that LMs collapse when trained on recursively generated text. This paper contributes to existing knowledge from two aspects. We present a theoretical proof of LM collapse. Our proof reveals the cause of LM collapse and proves that all auto-regressive LMs will definitely collapse. We present a new finding: the performance of LMs gradually declines when trained on recursively generated text until they perform no better than a randomly initialized LM. The trained LMs produce large amounts of repetitive text and perform poorly across a wide range of natural language tasks. The above proof and new findings deepen our understanding of LM collapse and offer valuable insights that may inspire new training techniques to mitigate this threat.
• Abstract（参考訳）: 言語モデル(LM)は、インターネット上でテキストを生成するために広く使われている。 生成されたテキストは、しばしば次世代のLMのトレーニングコーパスに収集される。 以前の研究では、再帰的に生成されたテキストでトレーニングすると、LMが崩壊することが実験的に確認されている。 本稿では2つの側面から既存の知識に貢献する。 LM崩壊の理論的証明を示す。 我々の証明は、LM崩壊の原因を明らかにし、全ての自己回帰型LMが確実に崩壊することを証明している。 そこで本研究では,再帰的に生成したテキストに対して,ランダムに初期化したLMに比較して性能が向上するまで,LMの性能は徐々に低下することを示す。 訓練されたLMは大量の反復テキストを生成し、広範囲の自然言語タスクで性能が良くない。 上記の証明と新たな発見は、LM崩壊の理解を深め、この脅威を軽減するために新しいトレーニングテクニックを刺激する貴重な洞察を提供する。

関連論文リスト

• Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG [57.14250086701313]
  本研究では,現代のLMがトレーニングデータから$n$-gramを生成できる範囲について検討する。 我々は,ゲノムデータのインデックス化にインスパイアされた新しい検索ツールであるRusty-DAWGを開発した。
  論文  参考訳（メタデータ） (2024-06-18T21:31:19Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Deductive Closure Training of Language Models for Coherence, Accuracy, and Updatability [58.582216812183496]
  言語モデル(LM)は、実際に正しいテキストを生成し、個々のクレームの真理値を推定することがある。 現在のLMは誤った内容や非意味な内容を生成しており、編集や更新は困難である。 本稿では,DCT(Deductive Closure Training)と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-16T18:58:37Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Factuality Enhanced Language Models for Open-Ended Text Generation [60.27166549575472]
  我々は、LM世代の実測のためのFactalityPromptsテストセットとメトリクスを設計する。 より大きなLMはより小さなものよりも現実的であることが分かるが、以前の研究では、大きなLMは誤解の観点からは真実性が低いことを示唆している。 そこで本稿では,TopicPrefixを用いた事実認識と文完成のための実感強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-09T17:16:43Z)
• Fingerprinting Fine-tuned Language Models in the Wild [6.7034293304862755]
  本研究では,野生における微調整型LMの大規模指紋認証の問題点について検討する。 その結果, 微調整自体が, 微調整による合成テキストの生成に最も有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-03T09:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。