論文の概要: Let Training Guide Selection: Online Synthetic Data Filtering via Real-Anchored Utility

• arxiv url: http://arxiv.org/abs/2609.29988v1
• Date: Thu, 24 Sep 2026 15:38:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.061278
• Title: Let Training Guide Selection: Online Synthetic Data Filtering via Real-Anchored Utility
• Title（参考訳）: Let Training Guide Selection: Online Synthetic Data Filtering via Real-Anchored Utility
• Abstract要約: 合成データは、実世界のデータが限られている場合にトレーニングをスケールすることができるが、ノイズや分布ミスマッチは、その価値を減少させる。 実データに固定された勾配フィードバックを通じて合成データの有用性を推定するオンラインフレームワークであるFROSTを提案する。 実験により、FROSTは合成データの約20～30%をフィルタし、完全な合成データプールでのトレーニングと比較して実性能を改善した。
• 参考スコア（独自算出の注目度）: 3.344648826490656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic data can scale training supervision when real-world data are limited, but noise and distribution mismatch can reduce its value. Existing synthetic data selection methods often emphasize fidelity or diversity rather than the learner's evolving needs. We propose FROST, an online framework that estimates synthetic-data utility through gradient feedback anchored in real training data. It calibrates batch utility against recent history to determine when filtering is needed and filters samples only in out-of-band batches to determine what to retain, without an external verifier or held-out validation set. Experiments on two public benchmarks for image classification and LLM fine-tuning for text-to-SQL show that FROST filters out around 20--30% of the synthetic data while improving real-task performance compared with training on the full synthetic data pool. We further apply FROST during training in a large-scale industrial ads re-ranking system, achieving significant performance gains over a highly optimized production baseline, demonstrating its effectiveness and generalizability.
• Abstract（参考訳）: 合成データは、実世界のデータが限られている場合にトレーニングの監督をスケールすることができるが、ノイズや分布ミスマッチは、その価値を低下させる可能性がある。 既存の合成データ選択手法は、学習者の進化するニーズよりも、忠実さや多様性を強調することが多い。 実データに固定された勾配フィードバックを通じて合成データの有用性を推定するオンラインフレームワークであるFROSTを提案する。 バッチユーティリティを最近の履歴に対して校正し、フィルタが必要かどうかを判断し、外部検証や保留検証セットなしで、帯域外バッチでのみサンプルをフィルタリングして、保持すべきものを判断する。 画像分類のための2つの公開ベンチマークとテキスト・トゥ・SQLのためのLLM微調整の実験では、FROSTは合成データの20～30%をフィルタし、完全な合成データプールでのトレーニングと比較してリアルタイムのパフォーマンスを改善している。 さらに,大規模産業広告リグレードシステムのトレーニング中にFROSTを適用し,高度に最適化された生産ベースライン上での大幅な性能向上を実現し,その有効性と一般化性を示す。

関連論文リスト

• A Real-Calibrated Synthetic-First Data Engine [0.0]
  Real-Calibrated Synthetic-First Data Engineは、コントロール可能な拡散生成と、統一パイプライン内でのマルチステージキュレーション/フィルタリングを組み合わせた、モジュラーデータエンジニアリングフレームワークである。 合成データを用いて, 実際のアンカーに付随して, ほぼゼロの人為的アノテーションによる拡張を行うと, 実際のデータベースラインが向上する一方で, 合成専用トレーニングは実データのみの性能よりもかなり低いままであることを示す。
  論文  参考訳（メタデータ） (2026-05-10T18:34:43Z)
• Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning [49.04912820721943]
  Supervised Fine-tuning (SFT) は計算コストが高く、時にはオーバーフィットやバイアス増幅に悩まされる。 本研究は、トレーニングプロセス中にサンプルを動的にスコア付け、フィルタリングするオンラインバッチ選択ファミリについて研究する。 SFTにおける効率的なオンラインバッチ選択のためのフレームワークである textbfUDS (Utility-Diversity Sampling) を開発した。
  論文  参考訳（メタデータ） (2025-10-19T15:32:01Z)
• Filtering with Confidence: When Data Augmentation Meets Conformal Prediction [10.431187957711206]
  本稿では,合成データ拡張のための基本データフィルタリングフレームワークを提案する。 F1スコアの最大40%の一貫性のあるパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-09-25T19:42:02Z)
• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• Less is More: Adaptive Coverage for Synthetic Training Data [20.136698279893857]
  本研究では,最大カバレッジ問題に基づく新しいサンプリングアルゴリズムを導入し,合成されたデータセットから代表サブセットを選択する。 この結果から,この文脈的にサンプリングされたサブセット上での分類器のトレーニングは,データセット全体のトレーニングよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-04-20T06:45:16Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Bridging SFT and DPO for Diffusion Model Alignment with Self-Sampling Preference Optimization [67.8738082040299]
  自己サンプリング優先最適化(SSPO)は,訓練後強化学習のための新しいアライメント手法である。 SSPOは、SFTのトレーニング安定性を維持しながら、ペアデータと報酬モデルの必要性を排除する。 SSPOは、テキスト・ツー・イメージベンチマークにおける以前のアプローチを全て上回り、テキスト・ツー・ビデオベンチマークにおける優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-07T17:56:53Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Bridging the Gap: Enhancing the Utility of Synthetic Data via Post-Processing Techniques [7.967995669387532]
  生成モデルは、実世界のデータを置き換えたり拡張したりできる合成データセットを生成するための有望なソリューションとして登場した。 本稿では,合成データセットの品質と多様性を向上させるために,新しい3つのポストプロセッシング手法を提案する。 Gap Filler(GaFi)は、Fashion-MNIST、CIFAR-10、CIFAR-100データセットにおいて、実精度スコアとのギャップを2.03%、1.78%、および3.99%に効果的に減少させることを示した。
  論文  参考訳（メタデータ） (2023-05-17T10:50:38Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。