論文の概要: Synthetic Data Characterization via Training Dynamics

• arxiv url: http://arxiv.org/abs/2609.39447v1
• Date: Wed, 30 Sep 2026 10:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.571535
• Title: Synthetic Data Characterization via Training Dynamics
• Title（参考訳）: トレーニングダイナミクスによる合成データのキャラクタリゼーション
• Abstract要約: まず、単一ラベルと複数ラベルの分類、ラベル付け、木予測タスクにまたがる合成データセットを生成する。 次に、機械データと有機データの両方のエンコーダトレーニングダイナミクスから経験的データ分布を導出する。 これらの学習可能性信号に基づくデータ選択戦略が、両方のデータソースにどのように影響するかを評価する。
• 参考スコア（独自算出の注目度）: 4.517933493143603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpreting properties of LLM-generated data is important for understanding its utility and limitations across learning tasks. In this work, we characterize synthetic data through sample-level learnability, studying variation among LLM families and scales, alongside human-written data as a reference. We first generate synthetic datasets spanning single- and multi-label classification, labeling, and tree prediction tasks. We then derive empirical data distributions from encoder training dynamics for both machine and organic data, and estimate the robustness of these distributions across encoders. Finally, we evaluate how data selection strategies based on these learnability signals affect both data sources differently.
• Abstract（参考訳）: LLM生成データの特性の解釈は,学習課題におけるその有用性と限界を理解する上で重要である。 本研究では,サンプルレベルの学習性を通じて合成データを特徴付け,LLMファミリーとスケールの変動を研究する。 まず、単一ラベルと複数ラベルの分類、ラベル付け、木予測タスクにまたがる合成データセットを生成する。 次に、機械データと有機データの両方のエンコーダトレーニングダイナミクスから経験的データ分布を導出し、エンコーダ間でのこれらの分布のロバスト性を推定する。 最後に、これらの学習可能性信号に基づくデータ選択戦略が、両方のデータソースにどのように影響するかを評価する。

関連論文リスト

• Data Value in the Age of Scaling: Understanding LLM Scaling Dynamics Under Real-Synthetic Data Mixtures [32.89034139737846]
  大規模言語モデル(LLM)は、実データと合成データをブレンドするデータセット上に構築されている。 合成データはスケーラビリティとコスト効率を提供するが、しばしば系統的な分散の相違をもたらす。 本稿では,大規模データセットにスケールする効果的なデータ評価手法を提案する。
  論文  参考訳（メタデータ） (2025-11-17T17:53:12Z)
• Understanding the Influence of Synthetic Data for Text Embedders [52.04771455432998]
  まず,Wangらによって提案された合成データの再生と公開を行った。 合成データがモデル一般化をどのように改善するかを批判的に検討する。 本研究は, 汎用インバータ構築における, 現在の合成データ手法の限界を浮き彫りにしたものである。
  論文  参考訳（メタデータ） (2025-09-07T19:28:52Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Few-shot LLM Synthetic Data with Distribution Matching [37.55363714371521]
  大規模言語モデル(LLM)は、より小さなモデルの性能を高めるために高品質な合成データを生成する。 LLMの生成した合成データは、しばしばキー言語属性の実際のデータとは異なる。 鍵属性分布マッチングに基づく合成データ生成およびフィルタリングフレームワークであるSynAlignを紹介する。
  論文  参考訳（メタデータ） (2025-02-09T16:43:32Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• On the Diversity of Synthetic Data and its Impact on Training Large Language Models [34.00031258223175]
  大規模言語モデル(LLM)は、多種多様な高品質な事前学習データの必要性を強調している。 合成データは、データの不足とアクセシビリティの課題に対する、実行可能なソリューションとして現れます。 本研究では, 事前学習および微調整段階における合成データ多様性の下流効果について検討した。
  論文  参考訳（メタデータ） (2024-10-19T22:14:07Z)
• Assessment of Differentially Private Synthetic Data for Utility and Fairness in End-to-End Machine Learning Pipelines for Tabular Data [3.555830838738963]
  差分プライベート(DP)合成データセットは、個々のデータプロバイダのプライバシを保持しながらデータを共有するためのソリューションである。 機械学習モデルの訓練と評価に最も効果的な合成データ生成手法を同定する。
  論文  参考訳（メタデータ） (2023-10-30T03:37:16Z)
• Distributed Traffic Synthesis and Classification in Edge Networks: A Federated Self-supervised Learning Approach [83.2160310392168]
  本稿では,多数の異種データセット上での自動トラフィック解析と合成を支援するFS-GANを提案する。 FS-GANは複数の分散ジェネレーティブ・アドバイサル・ネットワーク(GAN)から構成される FS-GANは未知のサービスのデータを分類し、未知のタイプのトラフィック分布をキャプチャする合成サンプルを作成する。
  論文  参考訳（メタデータ） (2023-02-01T03:23:11Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。