論文の概要: Why language models collapse when trained on recursively generated text

• arxiv url: http://arxiv.org/abs/2412.14872v1
• Date: Thu, 19 Dec 2024 14:11:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:57.759087
• Title: Why language models collapse when trained on recursively generated text
• Title（参考訳）: 再帰的に生成したテキストで学習した言語モデルが崩壊する理由
• Authors: Lecheng Wang, Xianjie Shi, Ge Li, Jia Li, Yihong Dong, Xuanming Zhang, Wenpin Jiao, Hong Mei,
• Abstract要約: 言語モデル(LM)は、インターネット上でテキストを生成するために広く使われている。 本稿では2つの側面から既存の知識に貢献する。 LM崩壊の理論的証明を示す。
• 参考スコア（独自算出の注目度）: 26.117724170912552
• License:
• Abstract: Language models (LMs) have been widely used to generate text on the Internet. The generated text is often collected into the training corpus of the next generations of LMs. Previous work has experimentally found that LMs collapse when trained on recursively generated text. This paper contributes to existing knowledge from two aspects. We present a theoretical proof of LM collapse. Our proof reveals the cause of LM collapse and proves that all auto-regressive LMs will definitely collapse. We present a new finding: the performance of LMs gradually declines when trained on recursively generated text until they perform no better than a randomly initialized LM. The trained LMs produce large amounts of repetitive text and perform poorly across a wide range of natural language tasks. The above proof and new findings deepen our understanding of LM collapse and offer valuable insights that may inspire new training techniques to mitigate this threat.
• Abstract（参考訳）: 言語モデル(LM)は、インターネット上でテキストを生成するために広く使われている。 生成されたテキストは、しばしば次世代のLMのトレーニングコーパスに収集される。 以前の研究では、再帰的に生成されたテキストでトレーニングすると、LMが崩壊することが実験的に確認されている。 本稿では2つの側面から既存の知識に貢献する。 LM崩壊の理論的証明を示す。 我々の証明は、LM崩壊の原因を明らかにし、全ての自己回帰型LMが確実に崩壊することを証明している。 そこで本研究では,再帰的に生成したテキストに対して,ランダムに初期化したLMに比較して性能が向上するまで,LMの性能は徐々に低下することを示す。 訓練されたLMは大量の反復テキストを生成し、広範囲の自然言語タスクで性能が良くない。 上記の証明と新たな発見は、LM崩壊の理解を深め、この脅威を軽減するために新しいトレーニングテクニックを刺激する貴重な洞察を提供する。

関連論文リスト

• Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG [57.14250086701313]
  本研究では,現代のLMがトレーニングデータから$n$-gramを生成できる範囲について検討する。 我々は,ゲノムデータのインデックス化にインスパイアされた新しい検索ツールであるRusty-DAWGを開発した。
  論文  参考訳（メタデータ） (2024-06-18T21:31:19Z)
• Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
  パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。 幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。 我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
  論文  参考訳（メタデータ） (2024-03-05T18:22:33Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP [77.817293104436]
  本稿では,LMとRMの間の洗練されたパイプラインにおいて,自然言語テキストを渡すことに依存するフレームワークを提案する。 我々は、オープンドメイン、マルチホップ、会話設定で質問に答えるための新しいDSPプログラムを作成した。
  論文  参考訳（メタデータ） (2022-12-28T18:52:44Z)
• Discovering Language Model Behaviors with Model-Written Evaluations [18.24267922379281]
  言語モデル(LM)がスケールするにつれて、彼らは多くの新しい行動、善と悪を発達させ、どのように振る舞うかを評価する必要性を悪化させます。 ここでは、LMによる評価を自動的に生成する。 我々は154のデータセットを生成し、LMがサイズによって悪化する逆スケーリングの新たなケースを発見する。
  論文  参考訳（メタデータ） (2022-12-19T05:13:52Z)
• Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
  自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。 既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。 コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-13T16:09:36Z)
• Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts [19.43042432631113]
  これまでの研究では、言語モデル(LM)のサイズと、異なる下流のNLPタスクにおけるゼロショットのパフォーマンスとの間には、スケーリングの法則が存在することが示されている。 本研究では,この現象が負のプロンプトでタスク上で大きなLMを評価する際には有効ではなく,逆のスケーリング法則を示す。
  論文  参考訳（メタデータ） (2022-09-26T14:05:10Z)
• Factuality Enhanced Language Models for Open-Ended Text Generation [60.27166549575472]
  我々は、LM世代の実測のためのFactalityPromptsテストセットとメトリクスを設計する。 より大きなLMはより小さなものよりも現実的であることが分かるが、以前の研究では、大きなLMは誤解の観点からは真実性が低いことを示唆している。 そこで本稿では,TopicPrefixを用いた事実認識と文完成のための実感強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-09T17:16:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。