論文の概要: Recursive Training Loops in LLMs: How training data properties modulate distribution shift in generated data?

• arxiv url: http://arxiv.org/abs/2504.03814v3
• Date: Wed, 02 Jul 2025 17:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:57.250624
• Title: Recursive Training Loops in LLMs: How training data properties modulate distribution shift in generated data?
• Title（参考訳）: LLMにおける再帰的トレーニングループ: トレーニングデータプロパティは、生成されたデータの分散シフトをどう変調するか?
• Authors: Grgur Kovač, Jérémy Perez, Rémy Portelas, Peter Ford Dominey, Pierre-Yves Oudeyer,
• Abstract要約: 大規模言語モデル(LLM)は、オンラインコンテンツの作成にますます利用されている。 この合成データに基づいて、次の世代のモデルのトレーニングが行われると、フィードバックループが生成される。 このようなループは、人間のデータの真の基盤となる分布を誤って表現するモデルである、分散シフトにつながることが示されている。
• 参考スコア（独自算出の注目度）: 18.384331170368416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used in the creation of online content, creating feedback loops as subsequent generations of models will be trained on this synthetic data. Such loops were shown to lead to distribution shifts - models misrepresenting the true underlying distributions of human data (also called model collapse). However, how human data properties affect such shifts remains poorly understood. In this paper, we provide the first empirical examination of the effect of such properties on the outcome of recursive training. We first confirm that using different human datasets leads to distribution shifts of different magnitudes. Through exhaustive manipulation of dataset properties combined with regression analyses, we then identify a set of properties predicting distribution shift magnitudes. Lexical diversity is found to amplify these shifts, while semantic diversity and data quality mitigate them. Furthermore, we find that these influences are highly modular: data scrapped from a given internet domain has little influence on the content generated for another domain. Finally, experiments on political bias reveal that human data properties affect whether the initial bias will be amplified or reduced. Overall, our results portray a novel view, where different parts of internet may undergo different types of distribution shift.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、オンラインコンテンツの作成にますます使われており、その後の世代のモデルがこの合成データに基づいてトレーニングされるようにフィードバックループを作成する。 このようなループは、人間のデータ(モデル崩壊とも呼ばれる)の真の基盤となる分布を誤って表現するモデルである、分散シフトにつながることが示されている。 しかし、人間のデータ特性がこのような変化にどのように影響するかは、いまだに理解されていない。 本稿では,このような特性が再帰的トレーニングの結果に与える影響について,最初の実証的研究を行う。 我々はまず、異なる人間のデータセットを使用することで、異なる大きさの分布シフトにつながることを確認した。 回帰分析と組み合わせたデータセット特性の徹底的な操作により,分布シフトの程度を予測する特性の集合を同定する。 語彙の多様性はこれらのシフトを増幅し、セマンティックな多様性とデータ品質はそれらを緩和する。 さらに、これらの影響は高度にモジュール化されており、あるインターネットドメインから取り除かれたデータは、他のドメインで生成されたコンテンツにはほとんど影響しない。 最後に、政治的バイアスに関する実験は、人間のデータ特性が初期バイアスを増幅するか縮小するかに影響することを明らかにした。 全体としては、インターネットのさまざまな部分が異なるタイプの配信シフトを行うという、新しい視点を描いている。

関連論文リスト

• How Does Data Diversity Shape the Weight Landscape of Neural Networks? [2.89287673224661]
  本稿では, ニューラルネットワークのパラメータ空間に対する降雨量, 重量減衰量, 騒音増大の影響について検討する。 我々は、多様なデータが、ドロップアウトと同様の方法で重量景観に影響を与えることを観察する。 合成データにより、実際の入力データにより多くの多様性がもたらされ、アウト・オブ・ディストリビューションテストインスタンスの性能が向上する、と結論付けている。
  論文  参考訳（メタデータ） (2024-10-18T16:57:05Z)
• On the Connection between Pre-training Data Diversity and Fine-tuning Robustness [66.30369048726145]
  下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
  論文  参考訳（メタデータ） (2023-07-24T05:36:19Z)
• Data Quality in Imitation Learning [15.939363481618738]
  ロボット工学のオフライン学習では、インターネットのスケールデータがないだけで、高品質なデータセットが必要なのです。 これは特に、専門家によるデモンストレーションを用いたロボット学習のためのサンプル効率のよいパラダイムである模倣学習(IL)において当てはまる。 本研究では,分散シフトのレンズによる模倣学習のためのデータ品質の形式化に向けた第一歩を踏み出す。
  論文  参考訳（メタデータ） (2023-06-04T18:48:32Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• On Counterfactual Data Augmentation Under Confounding [30.76982059341284]
  トレーニングデータのバイアスを緩和する手段として、対実データ拡張が出現している。 これらのバイアスは、データ生成プロセスにおいて観測され、観測されていない様々な共役変数によって生じる。 提案手法は,既存の最先端手法が優れた結果を得るのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2023-05-29T16:20:23Z)
• Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues [19.4921353136871]
  実験サンプルがトレーニング中に見つからないパターンを示す場合の多様性シフトと、テストデータが観察された不変性と急激な特徴の異なる相関を示す場合の相関シフトの2種類について検討した。 そこで我々は,両タイプのシフトをデータセットを用いて分析し,制御可能な方法で共存する統合プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:40:23Z)
• Class-Balancing Diffusion Models [57.38599989220613]
  クラスバランシング拡散モデル(CBDM)は、分散調整正規化器をソリューションとして訓練する。 提案手法は,CIFAR100/CIFAR100LTデータセットで生成結果をベンチマークし,下流認識タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-30T20:00:14Z)
• Leaving Reality to Imagination: Robust Classification via Generated Datasets [24.411444438920988]
  近年のロバスト性に関する研究では、テストセットと同様のデータセットでトレーニングされたニューラルイメージ分類器間での顕著なパフォーマンスギャップが明らかになった。 生成したデータセットは、画像分類器の自然な堅牢性にどのように影響するのか? 生成したデータで強化された実データに基づいて訓練された画像ネット分類器は、標準トレーニングよりも精度が高く、効果的に頑健であることがわかった。
  論文  参考訳（メタデータ） (2023-02-05T22:49:33Z)
• Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
  本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。 実装のさまざまな方法を示し、さまざまな問題について評価する。
  論文  参考訳（メタデータ） (2022-10-04T07:21:49Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Multi-Domain Joint Training for Person Re-Identification [51.73921349603597]
  ReID(Deep Learning-based person Re-IDentification)は、優れたパフォーマンスを達成するために、大量のトレーニングデータを必要とすることが多い。 多様な環境からより多くのトレーニングデータを集めることで、ReIDのパフォーマンスが向上する傾向にある。 本稿では,パラメータを様々な要因に適応させることができる,Domain-Camera-Sample Dynamic Network (DCSD) というアプローチを提案する。
  論文  参考訳（メタデータ） (2022-01-06T09:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。