論文の概要: Training-Aware Target Coverage for Synthetic Data Selection

• arxiv url: http://arxiv.org/abs/2610.00814v1
• Date: Wed, 30 Sep 2026 23:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.801
• Title: Training-Aware Target Coverage for Synthetic Data Selection
• Title（参考訳）: 合成データ選択のための訓練用ターゲットカバー
• Abstract要約: 本稿では, 合成データの有用性, 追加すべき量, 既存の集合に1つの例を加えることの限界値を特徴付ける線形理論を開発する。 これらの結果から,emphTraining-Aware Target Coverage (TATC)を紹介した。 TATCは、トレーニング効果が目標タスクに有益である候補を特定し、それらの中から選択して、既に利用可能なデータで表現されていない目標関連方向のカバレッジを拡大する。
• 参考スコア（独自算出の注目度）: 7.515263297601519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data are increasingly used to scale LLM training, yet more synthetic data do not necessarily produce better models. Useful synthetic data must add information relevant to the target task without introducing errors that offset their benefit, and the value of an example can change as the training set grows. We develop a linear theory that characterizes this tradeoff and determines where synthetic data are useful, how much should be added, and the marginal value of adding one example to an existing set. The analysis shows the conditions when input coverage alone is sufficient and when synthetic errors must also be considered. Guided by these results, we introduce \emph{Training-Aware Target Coverage} (TATC), a synthetic data selection method for LLM fine-tuning. TATC identifies candidates whose training effects are beneficial to the target task and selects among them to expand coverage of target-relevant directions not already represented by the available data. Experiments on text and image data verify the linear theory. With mathematical reasoning tasks, TATC selects synthetic solutions for fine-tuning Qwen2.5-Math-1.5B-Instruct and outperforms alternative synthetic-data selection methods on GSM8K across selection budgets. In summary, we provide a principled approach to synthetic data selection by quantifying and maximizing its value to the target task.
• Abstract（参考訳）: 合成データはLSMトレーニングのスケールアップにますます利用されているが、より合成されたデータは必ずしもより良いモデルを生成するとは限らない。 有用な合成データは、その利点をオフセットするエラーを導入することなく、ターゲットタスクに関連する情報を追加しなければなりません。 我々は、このトレードオフを特徴付ける線形理論を開発し、合成データがどこに有用か、どのくらい追加されるべきか、そして既存の集合に1つの例を追加する際の限界値を決定する。 この分析は、入力カバレッジだけで十分であり、合成エラーも考慮する必要がある状況を示す。 これらの結果から, LLM微調整のための合成データ選択法である \emph{Training-Aware Target Coverage} (TATC) を紹介した。 TATCは、トレーニング効果が目標タスクに有益である候補を特定し、それらの中から選択して、既に利用可能なデータで表現されていない目標関連方向のカバレッジを拡大する。 テキストと画像データによる実験は線形理論を検証する。 数学的な推論タスクにより、TATCはQwen2.5-Math-1.5B-Instructを微調整するための合成解を選択し、選択予算でGSM8K上の代替合成データ選択法より優れている。 要約すると、目的タスクに対する値の定量化と最大化により、合成データ選択に対する原則的なアプローチを提供する。

関連論文リスト

• Should I Use This Synthetic Dataset for Training? How to Test with Minimal Real Data [73.19814469893088]
  デジタルツインと学習された世界モデルは、エンジニアリングシステムにおける人工知能(AI)モデルのトレーニングに利用可能な、少ない実際のデータセットを増大させる合成データを生成するために、ますます使われています。 本稿では,拡張データセットのトレーニングが真の,人口レベルのパフォーマンスを向上する一方で,実際のテストデータポイントを可能な限り少なく消費するかどうかを論じる。 合成データ分類タスク、DT支援無線パケットスケジューリングタスク、および無線マップ予測タスクにおいて、aeSFTは平均ベースのシーケンシャルテストよりもはるかに少ない実検サンプルを用いて有用な合成データを識別することを示す。
  論文  参考訳（メタデータ） (2026-08-28T07:05:38Z)
• Optimsyn: Influence-Guided Rubrics Optimization for Synthetic Data Generation [41.42036786553015]
  大規模言語モデル(LLM)は、多くの教師付き微調整(SFT)データにより、強力な下流性能を達成する。 人文科学、社会科学、医学、法律、金融といった知識集約的な領域における高品質なSFTデータはほとんどない。 しかし、ルーブリック設計は専門家に依存しており、ドメイン間での転送が不十分であり、しばしば、ルーブリックの記述、データの合成、トレーニング、結果の検査、手動による修正の推測といった脆いループを通じて最適化される。
  論文  参考訳（メタデータ） (2026-04-01T06:28:44Z)
• Less is More: Adaptive Coverage for Synthetic Training Data [20.136698279893857]
  本研究では,最大カバレッジ問題に基づく新しいサンプリングアルゴリズムを導入し,合成されたデータセットから代表サブセットを選択する。 この結果から,この文脈的にサンプリングされたサブセット上での分類器のトレーニングは,データセット全体のトレーニングよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-04-20T06:45:16Z)
• Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Efficacy of Synthetic Data as a Benchmark [3.2968976262860408]
  大規模言語モデル(LLM)による合成データ生成の有効性について検討する。 実験の結果, 単純なタスクに対して, 合成データは様々な手法の性能を効果的に捉えることができるが, 名前付きエンティティ認識のような複雑なタスクでは不十分であることがわかった。 我々は、ベンチマークデータの生成とタスクの実行の両方に同じLLMを使用した場合のバイアスを評価するバイアス係数と呼ばれる新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-09-18T13:20:23Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。