論文の概要: Self-improving data synthesis can scale embedding models across domains and tasks

• arxiv url: http://arxiv.org/abs/2610.14730v1
• Date: Sat, 10 Oct 2026 08:50:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.096531
• Title: Self-improving data synthesis can scale embedding models across domains and tasks
• Title（参考訳）: 自己改善型データ合成は、ドメインやタスクにまたがる埋め込みモデルをスケールできる
• Abstract要約: 新しいタスクに埋め込みモデルを適用するには、タスク固有の情報ニーズと関連基準を反映したトレーニングデータが必要である。 本稿では、自己改善ループが再利用可能な合成命令を反復的に洗練する新しい検索データ合成手法であるSynTRAを紹介する。 15のドメインにまたがる24の検索データセットに対する実験は、合成されたデータの有効性を実証する。
• 参考スコア（独自算出の注目度）: 46.85878143106384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting embedding models to new tasks requires training data that reflect task-specific information needs and relevance criteria. However, manual data design is costly and difficult to scale. Here we introduce SYNTRA, a novel retrieval data synthesis method whose self-improvement loop iteratively refines reusable synthesis instructions using feedback on trial outputs. This process requires only an unlabelled corpus and a few relevant query-document pairs. Experiments across 24 retrieval datasets spanning 15 domains demonstrate the effectiveness of the synthesized data. These data also improve widely used, strong embedding models on tasks with and without existing labelled training sets. Self-improvement enhances retrieval on all six evaluated tasks, outperforming human calibration on four. Moreover, retrieval performance continues to improve on MS MARCO as we scale the training dataset to 32 times its initial size. Overall, with minimal human intervention, SYNTRA enables scalable adaptation of embedding models across domains and tasks.
• Abstract（参考訳）: 新しいタスクに埋め込みモデルを適用するには、タスク固有の情報ニーズと関連基準を反映したトレーニングデータが必要である。 しかし、手動のデータ設計は高価でスケールが難しい。 本稿では,自己改善ループが試行出力のフィードバックを用いて再利用可能な合成命令を反復的に洗練する新しい検索データ合成手法であるSynTRAを紹介する。 このプロセスでは、ラベルのないコーパスと、関連するクエリ-ドキュメントペアのみが必要となる。 15のドメインにまたがる24の検索データセットに対する実験は、合成されたデータの有効性を実証する。 これらのデータはまた、既存のラベル付きトレーニングセットを使わずにタスクの強力な埋め込みモデルを改善する。 自己改善は、評価された6つのタスクの検索を強化し、人間のキャリブレーションを4つに上回る。 さらに,MS MARCOでは,トレーニングデータセットの初期サイズを32倍に拡張し,検索性能が向上し続けている。 全体として、人間の介入を最小限に抑えて、SynTRAはドメインやタスクにまたがる埋め込みモデルのスケーラブルな適応を可能にする。

関連論文リスト

• Characterizing Model Behavior Under Synthetic Data Training: An Empirical Study Across Scales and Mixing Ratios [1.631115063641726]
  本稿では, モデル性能, キャリブレーション, 出力特性を, 各種合成・外部データ比で学習した場合に比較検討する。 モデルが最大20%の合成データで安定した性能を維持するが、劣化は30%以上加速する。 80%以上の外部データを維持するSTaRやセルフインストラクトシステムで採用されている現在のベストプラクティスは、我々の実験によって特定された安全な体制の中でうまく機能する。
  論文  参考訳（メタデータ） (2025-10-01T03:28:01Z)
• Less is More: Adaptive Coverage for Synthetic Training Data [20.136698279893857]
  本研究では,最大カバレッジ問題に基づく新しいサンプリングアルゴリズムを導入し,合成されたデータセットから代表サブセットを選択する。 この結果から,この文脈的にサンプリングされたサブセット上での分類器のトレーニングは,データセット全体のトレーニングよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-04-20T06:45:16Z)
• Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Abstractive Summarization for Low Resource Data using Domain Transfer and Data Synthesis [1.148539813252112]
  本稿では,近年の抽象的な要約手法の性能向上のために,ドメイン転送とデータ合成について検討する。 新聞データに基づいて訓練された美術モデルのチューニング状態は、学生の反射データの性能を高める可能性があることを示す。 トレーニングに組み込むとROUGEスコアがさらに増加するテンプレートベースの新しいデータを合成するモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-09T17:49:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。