論文の概要: Synthetic Text Generation for Training Large Language Models via Gradient Matching

• arxiv url: http://arxiv.org/abs/2502.17607v1
• Date: Mon, 24 Feb 2025 19:49:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:09.903799
• Title: Synthetic Text Generation for Training Large Language Models via Gradient Matching
• Title（参考訳）: グラディエントマッチングによる大規模言語モデルの学習のためのテキスト生成
• Authors: Dang Nguyen, Zeman Li, Mohammadhossein Bateni, Vahab Mirrokni, Meisam Razaviyayn, Baharan Mirzasoleiman,
• Abstract要約: 合成可読テキストを生成するための理論的に厳密な最初のアプローチを提案する。 生成した合成テキストは、実際のデータを微調整して得られた解の近傍にモデルを収束させることを保証できる。
• 参考スコア（独自算出の注目度）: 27.74603049449281
• License:
• Abstract: Synthetic data has the potential to improve the performance, training efficiency, and privacy of real training examples. Nevertheless, existing approaches for synthetic text generation are mostly heuristics and cannot generate human-readable text without compromising the privacy of real data or provide performance guarantees for training Large Language Models (LLMs). In this work, we propose the first theoretically rigorous approach for generating synthetic human-readable text that guarantees the convergence and performance of LLMs during fine-tuning on a target task. To do so, we leverage Alternating Direction Method of Multipliers (ADMM) that iteratively optimizes the embeddings of synthetic examples to match the gradient of the target training or validation data, and maps them to a sequence of text tokens with low perplexity. In doing so, the generated synthetic text can guarantee convergence of the model to a close neighborhood of the solution obtained by fine-tuning on real data. Experiments on various classification tasks confirm the effectiveness of our proposed approach.
• Abstract（参考訳）: 合成データは、実際のトレーニング例のパフォーマンス、トレーニング効率、プライバシを改善する可能性がある。 それでも、既存の合成テキスト生成のアプローチは概ねヒューリスティックであり、実際のデータのプライバシーを損なうことや、Large Language Models (LLM) のトレーニングのパフォーマンスを保証することなしに、人間の読みやすいテキストを生成することはできない。 本研究では,目標タスクの微調整中にLLMの収束と性能を保証する合成可読テキストを生成するための,理論的に厳密な最初のアプローチを提案する。 そこで我々は, 合成例の埋め込みを反復的に最適化し, 対象のトレーニングや検証データの勾配と一致させ, 難易度が低いテキストトークンの列にマッピングする, 乗算器の交互方向法(ADMM)を利用する。 生成した合成テキストは、実際のデータを微調整して得られた解の近傍にモデルを収束させることを保証できる。 各種分類タスクの実験により,提案手法の有効性が確認された。

関連論文リスト

• READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data [7.152603583363887]
  BERTのような事前訓練されたトランスフォーマーモデルは、多くのテキスト分類タスクで大幅に向上している。 本稿では,強化学習に基づくテキスト生成と半教師付き対角学習アプローチをカプセル化する手法を提案する。 提案手法であるREADは、ラベルのないデータセットを用いて、強化学習を通じて多様な合成テキストを生成する。
  論文  参考訳（メタデータ） (2025-01-14T11:39:55Z)
• GALOT: Generative Active Learning via Optimizable Zero-shot Text-to-image Generation [21.30138131496276]
  本稿では,ゼロショットテキスト・トゥ・イメージ(T2I)合成とアクティブラーニングを統合した。 我々はAL基準を利用してテキスト入力を最適化し、より情報的で多様なデータサンプルを生成する。 このアプローチは、モデルトレーニングの効率を高めながら、データ収集とアノテーションのコストを削減します。
  論文  参考訳（メタデータ） (2024-12-18T18:40:21Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Text Classification [7.357494019212501]
  本研究では,合成データと実世界の分布を協調する効率的な重み付け手法を提案する。 複数のテキスト分類タスクにおいて,提案手法の有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-10-28T20:53:49Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Improving Text Embeddings with Large Language Models [59.930513259982725]
  合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。 我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。 実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-31T02:13:18Z)
• A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
  大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。 人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。 本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
  論文  参考訳（メタデータ） (2023-11-06T13:11:02Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Advancing Semi-Supervised Learning for Automatic Post-Editing: Data-Synthesis by Mask-Infilling with Erroneous Terms [5.366354612549173]
  高品質な合成データを作成するためのデータ合成手法に着目する。 本稿では,結果の合成データが実際のデータにある翻訳誤りを模倣するデータ合成手法を提案する。 実験結果から, 提案手法により生成した合成データを用いることで, 既存の合成データよりもAPEの性能が有意に向上することがわかった。
  論文  参考訳（メタデータ） (2022-04-08T07:48:57Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。