論文の概要: Experimental evidence of progressive ChatGPT models self-convergence

• arxiv url: http://arxiv.org/abs/2603.12683v2
• Date: Mon, 16 Mar 2026 08:31:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:57.695989
• Title: Experimental evidence of progressive ChatGPT models self-convergence
• Title（参考訳）: 進行性ChatGPTモデルの自己収束に関する実験的研究
• Authors: Konstantinos F. Xylogiannopoulos, Petros Xanthopoulos, Panagiotis Karampelas, Georgios A. Bakamitsos,
• Abstract要約: テキスト類似度尺度を用いて、さまざまなChatGPTモデルのキャパシティを評価し、多様なテキスト出力を生成する。 以上の結果から,ChatGPTリリースにおけるテキスト生成能力の低下が明らかとなった。 観測された出力の多様性の低減は、トレーニングデータセットに組み込まれた合成データの量の影響による可能性がある。
• 参考スコア（独自算出の注目度）: 0.6299766708197881
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) that undergo recursive training on synthetically generated data are susceptible to model collapse, a phenomenon marked by the generation of meaningless output. Existing research has examined this issue from either theoretical or empirical perspectives, often focusing on a single model trained recursively on its own outputs. While prior studies have cautioned against the potential degradation of LLM output quality under such conditions, no longitudinal investigation has yet been conducted to assess this effect over time. In this study, we employ a text similarity metric to evaluate different ChatGPT models' capacity to generate diverse textual outputs. Our findings indicate a measurable decline of recent ChatGPT releases' ability to produce varied text, even when explicitly prompted to do so, by setting the temperature parameter to one. The observed reduction in output diversity may be attributed to the influence of the amounts of synthetic data incorporated within their training datasets as the result of internet infiltration by LLM generated data. The phenomenon is defined as model self-convergence because of the gradual increase of similarities of produced texts among different ChatGPT versions.
• Abstract（参考訳）: 合成されたデータに対する再帰的なトレーニングを行う大規模言語モデル(LLM)は、無意味な出力の生成を特徴とするモデル崩壊の影響を受けやすい。 既存の研究では、この問題を理論的あるいは経験的な視点から検討しており、しばしば、自身の出力に基づいて再帰的に訓練された単一のモデルに焦点を当てている。 このような条件下でのLCMの出力品質の潜在的な劣化に対して、先行研究が注意を払っている一方で、この効果を経時的に評価するための縦断的な調査は行われていない。 本研究では,テキスト類似度尺度を用いて,さまざまなChatGPTモデルのキャパシティを評価し,多様なテキスト出力を生成する。 以上の結果から,近年のChatGPTリリースでは,温度パラメータを1に設定することで,多種多様なテキストを生成する能力が低下していることが示唆された。 観測された出力の多様性の低減は、LCM生成データによるインターネット浸透の結果、トレーニングデータセットに組み込まれた合成データの量の影響による可能性がある。 この現象は、様々なChatGPTバージョン間で生成されたテキストの漸次的な類似性の増加により、モデル自己収束として定義される。

関連論文リスト

• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Machine-generated text detection prevents language model collapse [16.73923337828054]
  我々は,機械生成テキスト検出器を訓練し,モデル崩壊を防止するために重要な再サンプリング手法を提案する。 モデル崩壊を防ぐだけでなく、純粋に人間のデータに対するトレーニングに比べて性能も向上することを示した。
  論文  参考訳（メタデータ） (2025-02-21T18:22:36Z)
• Learning by Surprise: Surplexity for Mitigating Model Collapse in Generative AI [1.6545633988217645]
  合成コンテンツがWebに浸透するにつれて、生成的AIモデルは自身の出力で再訓練される可能性がある。 これによってモデルが崩壊し、世代間でパフォーマンスと多様性が徐々に失われます。 本稿では,モデルの次点確率分布から直接崩壊を特徴付ける新しい尺度を提案する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:48Z)
• Enhancing Unsupervised Sentence Embeddings via Knowledge-Driven Data Augmentation and Gaussian-Decayed Contrastive Learning [23.098551349745815]
  大規模言語モデル(LLM)を用いたパイプラインベースのデータ拡張手法を提案する。 本稿では,非教師なし文の埋め込みを改善するために,ガウス型勾配支援コントラスト文埋め込み(GCSE)モデルを提案する。 実験結果から,本手法は意味的テキスト類似性タスクにおける最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-09-19T16:29:58Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Does Synthetic Data Make Large Language Models More Efficient? [0.0]
  本稿では,NLPにおける合成データ生成のニュアンスについて考察する。 データ拡張の可能性や構造化品種の導入など、その利点を強調します。 テンプレートベースの合成データが現代の変圧器モデルの性能に与える影響を実証する。
  論文  参考訳（メタデータ） (2023-10-11T19:16:09Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。