論文の概要: Large Language Models for Data Synthesis

• arxiv url: http://arxiv.org/abs/2505.14752v1
• Date: Tue, 20 May 2025 13:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.675223
• Title: Large Language Models for Data Synthesis
• Title（参考訳）: データ合成のための大規模言語モデル
• Authors: Yihong Tang, Menglin Kong, Lijun Sun,
• Abstract要約: 大規模言語モデル(LLM)は、現実の分布よりも柔軟で高次元の先行性を持つ。 LLM Synthorは、LLMを分布フィードバックによって誘導される構造対応シミュレータに変換するデータ合成のためのフレームワークである。 要約統計空間における相違を最小化することにより、反復合成ループは実データと合成データを整列させる。
• 参考スコア（独自算出の注目度）: 17.333852085464176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating synthetic data that faithfully captures the statistical structure of real-world distributions is a fundamental challenge in data modeling. Classical approaches often depend on strong parametric assumptions or manual structural design and struggle in high-dimensional or heterogeneous domains. Recent progress in Large Language Models (LLMs) reveals their potential as flexible, high-dimensional priors over real-world distributions. However, when applied to data synthesis, standard LLM-based sampling is inefficient, constrained by fixed context limits, and fails to ensure statistical alignment. Given this, we introduce LLMSynthor, a general framework for data synthesis that transforms LLMs into structure-aware simulators guided by distributional feedback. LLMSynthor treats the LLM as a nonparametric copula simulator for modeling high-order dependencies and introduces LLM Proposal Sampling to generate grounded proposal distributions that improve sampling efficiency without requiring rejection. By minimizing discrepancies in the summary statistics space, the iterative synthesis loop aligns real and synthetic data while gradually uncovering and refining the latent generative structure. We evaluate LLMSynthor in both controlled and real-world settings using heterogeneous datasets in privacy-sensitive domains (e.g., e-commerce, population, and mobility) that encompass both structured and unstructured formats. The synthetic data produced by LLMSynthor shows high statistical fidelity, practical utility, and cross-data adaptability, positioning it as a valuable tool across economics, social science, urban studies, and beyond.
• Abstract（参考訳）: 実世界の分布の統計構造を忠実に捉えた合成データを生成することは、データモデリングにおける根本的な課題である。 古典的なアプローチは、しばしば強いパラメトリックな仮定や手動の構造設計に頼り、高次元または不均一な領域で苦労する。 LLM(Large Language Models)の最近の進歩は、現実の分布よりも柔軟で高次元の先行モデルとしての可能性を明らかにしている。 しかし、データ合成に適用した場合、標準的なLCMベースのサンプリングは非効率であり、固定されたコンテキスト制限によって制約され、統計的アライメントの確保に失敗する。 そこで我々はLLMSynthorというデータ合成の一般的なフレームワークを導入し,LLMを分布フィードバックによって誘導される構造認識シミュレータに変換する。 LLMSynthorは、LLMを高次依存関係をモデル化するための非パラメトリックコプラシミュレータとして扱い、LLM提案サンプリングを導入して、拒否を必要とせずにサンプリング効率を向上させる基底的な提案分布を生成する。 要約統計空間における相違を最小化することにより、反復合成ループは、潜伏生成構造を徐々に発見し、精製しながら、実データと合成データを整列させる。 LLMSynthorは、構造化と非構造化の両方のフォーマットを含む、プライバシーに敏感なドメイン(eコマース、人口、移動性など)における異種データセットを用いて、制御および実世界の両方の設定で評価する。 LLMSynthorが作成した合成データは、高い統計的忠実度、実用性、データ間の適合性を示し、経済、社会科学、都市研究などにわたる貴重なツールとして位置づけられている。

関連論文リスト

• Synthline: A Product Line Approach for Synthetic Requirements Engineering Data Generation using Large Language Models [0.5156484100374059]
  本稿では,大規模言語モデルを用いて合成要求工学(RE)データを生成する製品ライン(PL)アプローチであるSynthlineを紹介する。 我々の分析によると、合成データセットは実際のデータよりも多様性が低いが、実行可能なトレーニングリソースとして機能するには十分である。 以上の結果から, 合成データと実データを組み合わせることで, 大幅な性能向上が期待できる。
  論文  参考訳（メタデータ） (2025-05-06T07:57:16Z)
• Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• LLM-TabFlow: Synthetic Tabular Data Generation with Inter-column Logical Relationship Preservation [49.898152180805454]
  本研究は,合成表型データ生成におけるカラム間関係の保存について,初めて明示的に検討したものである。 LLM-TabFlowは複雑なカラム間関係と圧縮データをキャプチャする新しい手法であり、Score-based Diffusion を用いて遅延空間における圧縮データの分布をモデル化する。 LLM-TabFlowは、カラム間の関係を完全に保ちながら、データの忠実性、ユーティリティ、プライバシの最良のバランスを保ちながら、すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-03-04T00:47:52Z)
• Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Text Classification [7.357494019212501]
  本研究では,合成データと実世界の分布を協調する効率的な重み付け手法を提案する。 複数のテキスト分類タスクにおいて,提案手法の有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-10-28T20:53:49Z)
• Why LLMs Are Bad at Synthetic Table Generation (and what to do about it) [11.266896863556124]
  合成データ生成は、トレーニングデータを増強したり、機密情報を置き換えたり、DeepSeekのような先進的なプラットフォームに電力を供給するなど、MLパイプラインに不可欠なものだ。 合成データ生成のための微調整 LLM が普及している一方で、合成表生成はテキストや画像合成と比較して未探索のままである。 本稿では, 従来の微調整に用いたとしても, LLMが合成表の生成に不適であることを示す。
  論文  参考訳（メタデータ） (2024-06-20T17:52:29Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Synthetic Oversampling: Theory and A Practical Approach Using LLMs to Address Data Imbalance [16.047084318753377]
  不均衡な分類と急激な相関は、データサイエンスと機械学習における一般的な課題である。 近年の進歩は、大規模言語モデルの柔軟性と生成能力を生かして合成サンプルを生成することを提案した。 本稿では,不均衡な分類とスプリアス相関に対処する上で,合成試料の役割を体系的に研究する新たな理論基盤を開発する。
  論文  参考訳（メタデータ） (2024-06-05T21:24:26Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。