論文の概要: Recursive Training Loops in LLMs: How training data properties modulate distribution shift in generated data?

• arxiv url: http://arxiv.org/abs/2504.03814v3
• Date: Wed, 02 Jul 2025 17:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:57.250624
• Title: Recursive Training Loops in LLMs: How training data properties modulate distribution shift in generated data?
• Title（参考訳）: LLMにおける再帰的トレーニングループ: トレーニングデータプロパティは、生成されたデータの分散シフトをどう変調するか?
• Authors: Grgur Kovač, Jérémy Perez, Rémy Portelas, Peter Ford Dominey, Pierre-Yves Oudeyer,
• Abstract要約: 大規模言語モデル(LLM)は、オンラインコンテンツの作成にますます利用されている。 この合成データに基づいて、次の世代のモデルのトレーニングが行われると、フィードバックループが生成される。 このようなループは、人間のデータの真の基盤となる分布を誤って表現するモデルである、分散シフトにつながることが示されている。
• 参考スコア（独自算出の注目度）: 18.384331170368416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used in the creation of online content, creating feedback loops as subsequent generations of models will be trained on this synthetic data. Such loops were shown to lead to distribution shifts - models misrepresenting the true underlying distributions of human data (also called model collapse). However, how human data properties affect such shifts remains poorly understood. In this paper, we provide the first empirical examination of the effect of such properties on the outcome of recursive training. We first confirm that using different human datasets leads to distribution shifts of different magnitudes. Through exhaustive manipulation of dataset properties combined with regression analyses, we then identify a set of properties predicting distribution shift magnitudes. Lexical diversity is found to amplify these shifts, while semantic diversity and data quality mitigate them. Furthermore, we find that these influences are highly modular: data scrapped from a given internet domain has little influence on the content generated for another domain. Finally, experiments on political bias reveal that human data properties affect whether the initial bias will be amplified or reduced. Overall, our results portray a novel view, where different parts of internet may undergo different types of distribution shift.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、オンラインコンテンツの作成にますます使われており、その後の世代のモデルがこの合成データに基づいてトレーニングされるようにフィードバックループを作成する。 このようなループは、人間のデータ(モデル崩壊とも呼ばれる)の真の基盤となる分布を誤って表現するモデルである、分散シフトにつながることが示されている。 しかし、人間のデータ特性がこのような変化にどのように影響するかは、いまだに理解されていない。 本稿では,このような特性が再帰的トレーニングの結果に与える影響について,最初の実証的研究を行う。 我々はまず、異なる人間のデータセットを使用することで、異なる大きさの分布シフトにつながることを確認した。 回帰分析と組み合わせたデータセット特性の徹底的な操作により,分布シフトの程度を予測する特性の集合を同定する。 語彙の多様性はこれらのシフトを増幅し、セマンティックな多様性とデータ品質はそれらを緩和する。 さらに、これらの影響は高度にモジュール化されており、あるインターネットドメインから取り除かれたデータは、他のドメインで生成されたコンテンツにはほとんど影響しない。 最後に、政治的バイアスに関する実験は、人間のデータ特性が初期バイアスを増幅するか縮小するかに影響することを明らかにした。 全体としては、インターネットのさまざまな部分が異なるタイプの配信シフトを行うという、新しい視点を描いている。

関連論文リスト

• How Does Data Diversity Shape the Weight Landscape of Neural Networks? [2.89287673224661]
  本稿では, ニューラルネットワークのパラメータ空間に対する降雨量, 重量減衰量, 騒音増大の影響について検討する。 我々は、多様なデータが、ドロップアウトと同様の方法で重量景観に影響を与えることを観察する。 合成データにより、実際の入力データにより多くの多様性がもたらされ、アウト・オブ・ディストリビューションテストインスタンスの性能が向上する、と結論付けている。
  論文  参考訳（メタデータ） (2024-10-18T16:57:05Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• On the Connection between Pre-training Data Diversity and Fine-tuning Robustness [66.30369048726145]
  下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
  論文  参考訳（メタデータ） (2023-07-24T05:36:19Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Data Quality in Imitation Learning [15.939363481618738]
  ロボット工学のオフライン学習では、インターネットのスケールデータがないだけで、高品質なデータセットが必要なのです。 これは特に、専門家によるデモンストレーションを用いたロボット学習のためのサンプル効率のよいパラダイムである模倣学習(IL)において当てはまる。 本研究では,分散シフトのレンズによる模倣学習のためのデータ品質の形式化に向けた第一歩を踏み出す。
  論文  参考訳（メタデータ） (2023-06-04T18:48:32Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• On Counterfactual Data Augmentation Under Confounding [30.76982059341284]
  トレーニングデータのバイアスを緩和する手段として、対実データ拡張が出現している。 これらのバイアスは、データ生成プロセスにおいて観測され、観測されていない様々な共役変数によって生じる。 提案手法は,既存の最先端手法が優れた結果を得るのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2023-05-29T16:20:23Z)
• Analyzing Bias in Diffusion-based Face Generation Models [75.80072686374564]
  拡散モデルは、合成データ生成と画像編集アプリケーションでますます人気がある。 本研究では, 性別, 人種, 年齢などの属性に関して, 拡散型顔生成モデルにおけるバイアスの存在について検討する。 本研究は,GAN(Generative Adversarial Network)とGAN(Generative Adversarial Network)をベースとした顔生成モデルにおいて,データセットサイズが属性組成および知覚品質に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-05-10T18:22:31Z)
• Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues [19.4921353136871]
  実験サンプルがトレーニング中に見つからないパターンを示す場合の多様性シフトと、テストデータが観察された不変性と急激な特徴の異なる相関を示す場合の相関シフトの2種類について検討した。 そこで我々は,両タイプのシフトをデータセットを用いて分析し,制御可能な方法で共存する統合プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:40:23Z)
• Class-Balancing Diffusion Models [57.38599989220613]
  クラスバランシング拡散モデル(CBDM)は、分散調整正規化器をソリューションとして訓練する。 提案手法は,CIFAR100/CIFAR100LTデータセットで生成結果をベンチマークし,下流認識タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-30T20:00:14Z)
• Explanation Shift: How Did the Distribution Shift Impact the Model? [23.403838118256907]
  本研究では,分布変化による説明特性の変化について検討した。 我々は、合成例と実世界のデータセットを用いて、異なる種類の分布シフトを分析する。 我々は、実験を再現するために使用されるコードと同様に、オープンソースのPythonパッケージでメソッドをリリースします。
  論文  参考訳（メタデータ） (2023-03-14T17:13:01Z)
• Leaving Reality to Imagination: Robust Classification via Generated Datasets [24.411444438920988]
  近年のロバスト性に関する研究では、テストセットと同様のデータセットでトレーニングされたニューラルイメージ分類器間での顕著なパフォーマンスギャップが明らかになった。 生成したデータセットは、画像分類器の自然な堅牢性にどのように影響するのか? 生成したデータで強化された実データに基づいて訓練された画像ネット分類器は、標準トレーニングよりも精度が高く、効果的に頑健であることがわかった。
  論文  参考訳（メタデータ） (2023-02-05T22:49:33Z)
• Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
  本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。 実装のさまざまな方法を示し、さまざまな問題について評価する。
  論文  参考訳（メタデータ） (2022-10-04T07:21:49Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Multi-Domain Joint Training for Person Re-Identification [51.73921349603597]
  ReID(Deep Learning-based person Re-IDentification)は、優れたパフォーマンスを達成するために、大量のトレーニングデータを必要とすることが多い。 多様な環境からより多くのトレーニングデータを集めることで、ReIDのパフォーマンスが向上する傾向にある。 本稿では,パラメータを様々な要因に適応させることができる,Domain-Camera-Sample Dynamic Network (DCSD) というアプローチを提案する。
  論文  参考訳（メタデータ） (2022-01-06T09:20:59Z)
• Grounding inductive biases in natural images:invariance stems from variations in data [20.432568247732206]
  本研究では,実際のデータセットであるImageNetの変動要因について検討する。 標準的な拡張は、翻訳とスケールの正確な組み合わせに依存していることを示す。 ImageNetの変動の主な要因は外見に大きく関係していることがわかりました。
  論文  参考訳（メタデータ） (2021-06-09T14:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。