論文の概要: Effective Synthetic Data Curation Requires Group-Level Signals

• arxiv url: http://arxiv.org/abs/2610.00779v1
• Date: Wed, 30 Sep 2026 22:16:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.793129
• Title: Effective Synthetic Data Curation Requires Group-Level Signals
• Title（参考訳）: グループレベル信号を必要とする効率的な合成データキュレーション
• Abstract要約: 個人レベルの信号は、サンプルがトレーニングにどう影響するかに盲目であることを示す。 トレーニングパイプラインがますます合成されるにつれて、グループレベルの信号がより重要になる。
• 参考スコア（独自算出の注目度）: 24.931115660716774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data now is essential to LLM training, used to strengthen advanced capabilities such as autonomous and long-horizon task execution. Yet recent work shows that training on it at scale can degrade model generation, making it important to decide what synthetic data is worth training on. While current data curation practices do so with individual-level signals (i.e., estimates of each data sample's training utility in isolation), across pre-training and post-training settings we show that this is insufficient for synthetic data, and that group-level signals (i.e., estimates of utility that account for interactions among data samples) are necessary for effective data curation. First, we show that individual-level signals are blind to how samples jointly affect training: synthetic datasets with different compositions can be indistinguishable under individual-level influence yet differ sharply under group-level influence, and curating by the latter yields better downstream performance, particularly in generative capability. Second, we find that group-level signals matter more as training pipelines become increasingly synthetic: among widely used data curation methods, only those incorporating them improve over baseline, with gains increasing when weights capturing relations among samples are amplified. Finally, we translate these findings into practice -- for model developers under a compute budget, we offer a cheap diagnostic that prioritizes which groups of synthetic data most need group-level estimation, recovering much of the benefit of full group-level scoring at a fraction of the compute cost.
• Abstract（参考訳）: 現在、合成データは、自律的および長期タスク実行のような高度な能力を強化するために使用されるLLMトレーニングに不可欠である。 しかし、最近の研究は、大規模なトレーニングがモデル生成を劣化させる可能性があることを示しており、どの合成データがトレーニングに値するかを判断することが重要である。 現在のデータキュレーションの実践は、個別レベルの信号(例えば、各データサンプルのトレーニングユーティリティを個別に見積もる)で行われているが、事前トレーニングや後トレーニングの設定では、これは合成データには不十分であり、グループレベルの信号(つまり、データサンプル間の相互作用を考慮に入れたユーティリティの推定)が効果的なデータキュレーションに必要であることを示す。 まず,異なる構成の合成データセットをグループレベルの影響下では区別できないが,グループレベルの影響下では顕著に異なり,後者によるキュレートにより,特に生成能力において,下流のパフォーマンスが向上することを示す。 第2に、トレーニングパイプラインの合成が進むにつれて、グループレベルの信号がより重要になる: 広く使われているデータキュレーション手法の中で、それらを組み込んだものだけがベースラインよりも改善され、サンプル間の重み付け関係が増幅されるにつれて増加していく。 最後に、これらの知見を実際のものに翻訳します -- 計算予算の下でのモデル開発者にとって、私たちは、どの合成データのどのグループがグループレベルの評価を必要とするかを優先し、計算コストのごく一部でグループレベルのスコアの完全なメリットを回復する安価な診断を提供します。

関連論文リスト

• Improving the Generation and Evaluation of Synthetic Data for Downstream Medical Causal Inference [89.5628648718851]
  因果推論は医療介入の開発と評価に不可欠である。 現実の医療データセットは、規制障壁のためアクセスが難しいことが多い。 本稿では,医学における治療効果分析のための新しい合成データ生成法STEAMを提案する。
  論文  参考訳（メタデータ） (2025-10-21T16:16:00Z)
• Valid Inference with Imperfect Synthetic Data [39.10587411316875]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• Less is More: Adaptive Coverage for Synthetic Training Data [20.136698279893857]
  本研究では,最大カバレッジ問題に基づく新しいサンプリングアルゴリズムを導入し,合成されたデータセットから代表サブセットを選択する。 この結果から,この文脈的にサンプリングされたサブセット上での分類器のトレーニングは,データセット全体のトレーニングよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-04-20T06:45:16Z)
• Prototype-Guided Diffusion for Digital Pathology: Achieving Foundation Model Performance with Minimal Clinical Data [6.318463500874778]
  本研究では,高忠実度合成病理データを大規模に生成するプロトタイプ誘導拡散モデルを提案する。 我々のアプローチは、生成したデータの生物学的、診断学的に有意義な変動を保証します。 我々は、大規模な実世界のデータセットでトレーニングされたモデルよりも60倍-760倍少ないデータを使用しても、我々の合成データセットでトレーニングされた自己教師機能によって競争性能が向上することを示した。
  論文  参考訳（メタデータ） (2025-04-15T21:17:39Z)
• Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Generative Expansion of Small Datasets: An Expansive Graph Approach [13.053285552524052]
  最小限のサンプルから大規模で情報豊富なデータセットを生成する拡張合成モデルを提案する。 自己アテンション層と最適なトランスポートを持つオートエンコーダは、分散一貫性を洗練させる。 結果は同等のパフォーマンスを示し、モデルがトレーニングデータを効果的に増強する可能性を示している。
  論文  参考訳（メタデータ） (2024-06-25T02:59:02Z)
• Online Data Augmentation for Forecasting with Deep Learning [0.33554367023486936]
  この研究は、ニューラルネットワークのトレーニング中に合成サンプルを生成するオンラインデータ拡張フレームワークを導入する。 トレーニングプロセスを通じて、実データと合成データのバランスの取れた表現を維持します。 オンラインデータ拡張はオフラインデータ拡張よりも予測性能が向上する、あるいは拡張アプローチがない、という実験結果が示唆されている。
  論文  参考訳（メタデータ） (2024-04-25T17:16:13Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。