論文の概要: Understanding the Influence of Synthetic Data for Text Embedders

• arxiv url: http://arxiv.org/abs/2509.06184v1
• Date: Sun, 07 Sep 2025 19:28:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.893103
• Title: Understanding the Influence of Synthetic Data for Text Embedders
• Title（参考訳）: テキスト埋め込みにおける合成データの影響の理解
• Authors: Jacob Mitchell Springer, Vaibhav Adlakha, Siva Reddy, Aditi Raghunathan, Marius Mosbach,
• Abstract要約: まず,Wangらによって提案された合成データの再生と公開を行った。 合成データがモデル一般化をどのように改善するかを批判的に検討する。 本研究は, 汎用インバータ構築における, 現在の合成データ手法の限界を浮き彫りにしたものである。
• 参考スコア（独自算出の注目度）: 52.04771455432998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in developing general purpose text embedders has been driven by training on ever-growing corpora of synthetic LLM-generated data. Nonetheless, no publicly available synthetic dataset exists, posing a barrier to studying its role for generalization. To address this issue, we first reproduce and publicly release the synthetic data proposed by Wang et al. (Mistral-E5). Our synthetic data is high quality and leads to consistent improvements in performance. Next, we critically examine where exactly synthetic data improves model generalization. Our analysis reveals that benefits from synthetic data are sparse and highly localized to individual datasets. Moreover, we observe trade-offs between the performance on different categories and data that benefits one task, degrades performance on another. Our findings highlight the limitations of current synthetic data approaches for building general-purpose embedders and challenge the notion that training on synthetic data leads to more robust embedding models across tasks.
• Abstract（参考訳）: 汎用テキスト埋め込み装置の開発における最近の進歩は、LLM生成データの絶え間なく成長するコーパスの訓練によって進められている。 それでも、一般に利用可能な合成データセットは存在せず、一般化におけるその役割を研究する上で障壁となる。 この問題に対処するため,Wang et al (Mistral-E5) が提案する合成データをまず再現・公開する。 私たちの合成データは高品質で、一貫した性能改善につながります。 次に、正確な合成データがモデル一般化をどこで改善するかを批判的に検討する。 分析の結果,合成データの利点は希薄であり,個々のデータセットに高度に局所化されていることが明らかとなった。 さらに、異なるカテゴリのパフォーマンスと、あるタスクの恩恵を受けるデータとの間のトレードオフを観察し、別のタスクのパフォーマンスを劣化させる。 本研究は, 汎用組込み装置構築における現在の合成データアプローチの限界を浮き彫りにして, 合成データによるトレーニングが, タスク間のより堅牢な組込みモデルに繋がるという考えに挑戦するものである。

関連論文リスト

• SynFER: Towards Boosting Facial Expression Recognition with Synthetic Data [78.70620682374624]
  ハイレベルなテキスト記述に基づく表情画像データの合成のための新しいフレームワークであるSynFERを紹介する。 合成データの質と信頼性を確保するため,セマンティックガイダンス手法と擬似ラベル生成手法を提案する。 その結果, 提案手法の有効性と合成データの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-13T14:58:21Z)
• Best Practices and Lessons Learned on Synthetic Data [83.63271573197026]
  AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。 合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
  論文  参考訳（メタデータ） (2024-04-11T06:34:17Z)
• On the Equivalency, Substitutability, and Flexibility of Synthetic Data [9.459709213597707]
  本研究では,合成データと実世界のデータとの等価性,実データに対する合成データの置換可能性,合成データ生成装置の柔軟性について検討する。 以上の結果から, 合成データによりモデル性能が向上するだけでなく, 実データへの置換性も向上し, 性能損失の60%から80%が置換可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-24T17:21:32Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations [21.583825474908334]
  本研究では,合成データに基づいて学習したモデルの性能が,分類の主観性によってどう変化するかを検討する。 その結果,主観性は,タスクレベルとインスタンスレベルの両方において,合成データに基づいて訓練されたモデルの性能と負の相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-10-11T19:51:13Z)
• Does Synthetic Data Make Large Language Models More Efficient? [0.0]
  本稿では,NLPにおける合成データ生成のニュアンスについて考察する。 データ拡張の可能性や構造化品種の導入など、その利点を強調します。 テンプレートベースの合成データが現代の変圧器モデルの性能に与える影響を実証する。
  論文  参考訳（メタデータ） (2023-10-11T19:16:09Z)
• A Study on Improving Realism of Synthetic Data for Machine Learning [6.806559012493756]
  この研究は、合成レンダリングを、ラベルのない実世界のデータで条件付けられた汎用データセット上でより現実的なスタイルに変換する合成から現実への生成モデルを訓練し、評価することを目的としている。
  論文  参考訳（メタデータ） (2023-04-24T21:41:54Z)
• Beyond Privacy: Navigating the Opportunities and Challenges of Synthetic Data [91.52783572568214]
  合成データは、機械学習の世界において支配的な力となり、データセットを個々のニーズに合わせて調整できる未来を約束する。 合成データのより広範な妥当性と適用のために,コミュニティが克服すべき根本的な課題について論じる。
  論文  参考訳（メタデータ） (2023-04-07T16:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。