論文の概要: Self-improving data synthesis enables scalable adaptation of embedding models

• arxiv url: http://arxiv.org/abs/2610.14730v2
• Date: Thu, 15 Oct 2026 03:14:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.846648
• Title: Self-improving data synthesis enables scalable adaptation of embedding models
• Title（参考訳）: 自己改善型データ合成は埋め込みモデルのスケーラブルな適応を可能にする
• Abstract要約: SynTRAは自己改善型エージェントフレームワークで、いくつかの検索例を再利用可能な合成命令に変換する。 15のドメインにまたがる24のデータセットを対象とした実験では、同じ合成ワークフローが効果的なトレーニングデータを生成することが示されている。 MS MARCOでは、検索ゲインは32倍の訓練データサイズで継続される。
• 参考スコア（独自算出の注目度）: 46.15930679648104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI agents require specialised retrieval across domains and tasks, but adapting embedding models is constrained by costly manual training-data design. Here we introduce SYNTRA, a self-improving agentic framework that turns a few retrieval examples into reusable synthesis instructions. Given an unlabelled corpus and a few relevant query-document pairs, SYNTRA infers implicit information needs and relevance criteria, then uses feedback on trial outputs to refine instructions for query generation and relevance assessment. Experiments across 24 datasets spanning 15 domains demonstrate that the same synthesis workflow produces effective training data, benefiting even strong embedding models with and without existing labelled training sets. Self-improvement strengthens this supervision on all six evaluated tasks, yielding better retrieval than human calibration on four. The training value persists at larger scales: on MS MARCO, retrieval gains continue across a 32-fold range of synthetic training-data sizes. SYNTRA thus enables scalable embedding-model adaptation with minimal human intervention.
• Abstract（参考訳）: AIエージェントは、ドメインとタスクをまたいだ専門的な検索を必要とするが、埋め込みモデルの適応は、高価な手動のトレーニングデータ設計によって制約される。 ここでは、いくつかの検索例を再利用可能な合成命令に変換する自己改善型エージェントフレームワークであるSynTRAを紹介する。 ラベルのないコーパスといくつかの関連するクエリドキュメントペアが与えられた後、SynTRAは暗黙的な情報要求と関連性基準を推論し、トライアルアウトプットのフィードバックを使用してクエリ生成と関連性評価の指示を洗練する。 15のドメインにまたがる24のデータセットを対象とした実験では、同じ合成ワークフローが効果的なトレーニングデータを生成することが示され、既存のラベル付きトレーニングセットを使わずに、強力な埋め込みモデルにもメリットがある。 自己改善は、この6つの評価されたタスクの監督を強化する。 MS MARCOでは、検索ゲインは32倍の合成トレーニングデータサイズにわたって継続する。 これにより、SynTRAは人間の介入を最小限に抑えたスケーラブルな埋め込みモデル適応を可能にする。

関連論文リスト

• Characterizing Model Behavior Under Synthetic Data Training: An Empirical Study Across Scales and Mixing Ratios [1.631115063641726]
  本稿では, モデル性能, キャリブレーション, 出力特性を, 各種合成・外部データ比で学習した場合に比較検討する。 モデルが最大20%の合成データで安定した性能を維持するが、劣化は30%以上加速する。 80%以上の外部データを維持するSTaRやセルフインストラクトシステムで採用されている現在のベストプラクティスは、我々の実験によって特定された安全な体制の中でうまく機能する。
  論文  参考訳（メタデータ） (2025-10-01T03:28:01Z)
• Less is More: Adaptive Coverage for Synthetic Training Data [20.136698279893857]
  本研究では,最大カバレッジ問題に基づく新しいサンプリングアルゴリズムを導入し,合成されたデータセットから代表サブセットを選択する。 この結果から,この文脈的にサンプリングされたサブセット上での分類器のトレーニングは,データセット全体のトレーニングよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-04-20T06:45:16Z)
• Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Abstractive Summarization for Low Resource Data using Domain Transfer and Data Synthesis [1.148539813252112]
  本稿では,近年の抽象的な要約手法の性能向上のために,ドメイン転送とデータ合成について検討する。 新聞データに基づいて訓練された美術モデルのチューニング状態は、学生の反射データの性能を高める可能性があることを示す。 トレーニングに組み込むとROUGEスコアがさらに増加するテンプレートベースの新しいデータを合成するモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-09T17:49:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。