論文の概要: Machine-generated text detection prevents language model collapse

• arxiv url: http://arxiv.org/abs/2502.15654v4
• Date: Fri, 25 Apr 2025 16:53:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 18:47:07.435619
• Title: Machine-generated text detection prevents language model collapse
• Title（参考訳）: 機械生成テキスト検出は言語モデルの崩壊を防ぐ
• Authors: George Drayson, Emine Yilmaz, Vasileios Lampos,
• Abstract要約: 復号化戦略がモデル崩壊に与える影響について検討する。 我々は,機械生成テキスト検出器を訓練し,モデル崩壊を緩和するための重要なサンプリング手法を提案する。 モデル崩壊を防止できるだけでなく、十分な人為的なサンプルが存在する場合に性能を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 17.34282527020344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) become increasingly prevalent, their generated outputs are proliferating across the web, risking a future where machine-generated content dilutes human-authored text. Since online data is the primary resource for LLM pre-training, subsequent models could be trained on an unknown portion of synthetic samples. This will lead to model collapse, a degenerative process whereby LLMs reinforce their own errors, and ultimately yield a declining performance. In this study, we investigate the impact of decoding strategy on model collapse, analysing the characteristics of text at each model generation, the similarity to human references, and the resulting model performance. Using the decoding strategies that lead to the most significant degradation, we evaluate model collapse in more realistic scenarios where the origin of the data (human or synthetic) is unknown. We train a machine-generated text detector and propose an importance sampling approach to alleviate model collapse. Our method is validated on two LLM variants (GPT-2 and SmolLM2) on the open-ended text generation task. We demonstrate that it can not only prevent model collapse but also improve performance when sufficient human-authored samples are present. We release our code at https://github.com/GeorgeDrayson/model_collapse.
• Abstract（参考訳）: 大規模言語モデル(LLMs)が普及するにつれて、その生成した出力はWeb全体で増加し、機械生成されたコンテンツが人間の許可したテキストを希薄化する未来を危険にさらしている。 オンラインデータはLLM事前学習の主要なリソースであるため、その後のモデルは未知の合成サンプルで訓練することができる。 これはモデル崩壊を招き、LLMは自身のエラーを補強し、最終的に性能を低下させる。 本研究では,復号化戦略がモデル崩壊に与える影響,各モデル生成時のテキストの特性,人間参照との類似性,モデル性能に与える影響について検討する。 最も顕著な劣化につながるデコード戦略を用いて、データ(人間または合成)の起源が不明なより現実的なシナリオでモデル崩壊を評価する。 我々は,機械生成テキスト検出器を訓練し,モデル崩壊を緩和するための重要なサンプリング手法を提案する。 本手法は,オープンエンドテキスト生成タスクにおいて,2つのLLM変種(GPT-2とSmolLM2)に対して検証を行う。 モデル崩壊を防止できるだけでなく、十分な人為的なサンプルが存在する場合に性能を向上させることができることを示す。 コードについてはhttps://github.com/GeorgeDrayson/model_collapse.comで公開しています。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification [11.6055501181235]
  モデル崩壊防止のための合成データに対する検証手法について検討する。 検証器は、たとえ不完全なものであっても、モデル崩壊を防ぐために実際に活用できることが示される。
  論文  参考訳（メタデータ） (2024-06-11T17:46:16Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
  人為的なデータに基づく微調整言語モデル(LM)が普及している。 我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T18:17:43Z)
• A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
  大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。 人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。 本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
  論文  参考訳（メタデータ） (2023-11-06T13:11:02Z)
• The Curse of Recursion: Training on Generated Data Makes Models Forget [70.02793975243212]
  大規模言語モデル(LLM)が存続し、オンラインテキストと画像のエコシステム全体に劇的な変化をもたらすだろう。 トレーニングにおけるモデル生成コンテンツの使用は、元のコンテンツ分布の尾部が消える結果のモデルに不可逆的な欠陥を引き起こす。
  論文  参考訳（メタデータ） (2023-05-27T15:10:41Z)
• Characterizing Attribution and Fluency Tradeoffs for Retrieval-Augmented Large Language Models [6.425088990363101]
  本研究では, 大規模言語モデルにおけるフラレンシと帰属の関係について検討した。 より大きなモデルは、流布と帰属の両方において、より優れた結果をもたらす傾向があることを示す。 そこで本研究では,より小さなモデルで大きなモデルとのギャップを埋めることと,トップk検索のメリットを両立できるレシピを提案する。
  論文  参考訳（メタデータ） (2023-02-11T02:43:34Z)
• Text Generation by Learning from Demonstrations [17.549815256968877]
  テキスト生成への現在のアプローチは、主に自己回帰モデルと最大推定に依存する。 本稿では,重要な重み付けによって専門家によるデモンストレーションから学習する,最適化の容易なアルゴリズムGOLDを提案する。 自動評価と人的評価の両方で、GOLDでトレーニングされたモデルは、MLEとポリシー勾配によってトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-09-16T17:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。