論文の概要: DataArc-SynData-Toolkit: A Unified Closed-Loop Framework for Multi-Path, Multimodal, and Multilingual Data Synthesis

• arxiv url: http://arxiv.org/abs/2605.08138v1
• Date: Sat, 02 May 2026 05:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.384584
• Title: DataArc-SynData-Toolkit: A Unified Closed-Loop Framework for Multi-Path, Multimodal, and Multilingual Data Synthesis
• Title（参考訳）: DataArc-SynData-Toolkit:マルチパス、マルチモーダル、マルチリンガルデータ合成のための統一クローズドループフレームワーク
• Authors: Zhichao Shi, Cehao Yang, Hao Zhou, Xiaojun Wu, Huajie Li, Xuhui Jiang, Chengjin Xu, Yuanzhuo Wang, Jian Guo,
• Abstract要約: DataArc-SynData-Toolkitは、直感的なビジュアルインターフェースと単純化されたCLIを備えた、構成駆動のエンドツーエンドパイプラインを備えた、オープンソースのフレームワークである。 エンドツーエンドで視覚的に対話的なパイプラインを提供することで、DataArc-SynData-Toolkitは、合成データ生成とその後のモデルトレーニングに対する技術的障壁を著しく低くする。
• 参考スコア（独自算出の注目度）: 30.087790560692643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic data has emerged as a crucial solution to the data scarcity bottleneck in large language models (LLMs), particularly for specialized domains and low-resource languages. However, the broader adoption of existing synthetic data tools is severely hindered by convoluted workflows, fragmented data standards, and limited scalability across modalities. To address these limitations, we develop DataArc-SynData-Toolkit, an open-source framework featuring: (1) a configuration-driven, end-to-end pipeline equipped with an intuitive visual interface and simplified CLI for exceptional usability; (2) a unified, quality-controllable synthesis paradigm that standardizes multi-source data generation to ensure high reusability; and (3) a highly modular architecture designed for seamless multimodal, multilingual, and multi-task adaptation. We apply the toolkit in multiple application scenarios. Experimental results demonstrate that our toolkit achieves an optimal balance between generation efficiency and data quality. By offering an end-to-end and visually interactive pipeline, DataArc-SynData-Toolkit significantly lowers the technical barrier to synthetic data generation and subsequent model training, accelerating its practical deployment in real-world applications.
• Abstract（参考訳）: 合成データは大規模言語モデル(LLM)におけるデータ不足のボトルネックに対する重要な解決策として現れており、特に特殊なドメインと低リソース言語を対象としている。 しかし、既存の合成データツールの広範な採用は、複雑なワークフロー、断片化されたデータ標準、モダリティを越えたスケーラビリティの制限によって著しく妨げられている。 これらの制限に対処するため,1)直感的なビジュアルインターフェースを備えた構成駆動のエンドツーエンドパイプラインと,例外的ユーザビリティを備えたCLI,(2)マルチソースデータ生成を標準化して高再利用性を確保するための統一的品質制御可能な合成パラダイム,3)シームレスなマルチモーダル,多言語,マルチタスク適応用に設計された高度にモジュール化されたアーキテクチャを特徴とする,オープンソースのフレームワークであるDataArc-SynData-Toolkitを開発した。 ツールキットを複数のアプリケーションシナリオに適用する。 実験結果から,本ツールキットは生成効率とデータ品質の最適バランスを実現することが示された。 エンドツーエンドで視覚的に対話的なパイプラインを提供することで、DataArc-SynData-Toolkitは、合成データ生成とその後のモデルトレーニングに対する技術的な障壁を大幅に減らし、実際のアプリケーションへの実践的なデプロイを加速します。

関連論文リスト

• Nimbus: A Unified Embodied Synthetic Data Generation Framework [51.55989844555466]
  データボリュームと多様性のスケーリングは、インボディードインテリジェンスを一般化するために重要である。 我々は、異種ナビゲーションと操作パイプラインを統合するために設計された統合合成データ生成フレームワークであるNimbusを紹介する。 評価の結果,Nimbusは最適化されていないベースラインに比べてエンドツーエンドのスループットが2～3倍向上していることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T09:27:31Z)
• ToolForge: A Data Synthesis Pipeline for Multi-Hop Search without Real-World APIs [40.70833390513187]
  本稿では,強力な実世界のツールコール性能を実現する自動合成フレームワークであるToolForgeを紹介する。 ToolForgeは、マルチホップ検索シナリオ用に設計された大規模ツール学習データを合成する。 実験結果から,合成データを用いてトレーニングした場合,8Bパラメータのみのモデルが複数のベンチマークでGPT-4oを上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-12-18T04:06:26Z)
• SyGra: A Unified Graph-Based Framework for Scalable Generation, Quality Tagging, and Management of Synthetic Data [0.0]
  大規模言語モデル(LLM)のための総合的な合成データ生成フレームワークを提案する。 本手法では,手作業による介入を最小限に抑えた複雑な対話フローをモデル化可能なモジュール型および構成型パイプラインを用いる。 得られたデータセットは、SFTとDPOの両方のユースケースをサポートするフレキシブルなスキーマの下で構成され、多様なトレーニングへのシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T10:35:41Z)
• RouteNator: A Router-Based Multi-Modal Architecture for Generating Synthetic Training Data for Function Calling LLMs [3.41612427812159]
  デジタルコンテンツ作成ツールでは、ユーザは、API呼び出しにマップしなければならない自然言語クエリを通じて、ニーズを表現します。 既存の合成データ生成アプローチでは、実世界のデータ分散を複製することができない。 高品質な合成学習データを生成するルータベースのアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-05-15T16:53:45Z)
• mmE5: Improving Multimodal Multilingual Embeddings via High-quality Synthetic Data [71.352883755806]
  マルチモーダル埋め込みモデルは、テキストや画像などの様々なモダリティからデータを統一表現空間にマッピングする能力において、大きな注目を集めている。 しかし、ラベル付きマルチモーダルデータは、しばしば埋め込み性能を妨げる。 近年のアプローチでは、この問題に対処するためにデータ合成を活用しているが、合成データの質は依然として重大なボトルネックとなっている。
  論文  参考訳（メタデータ） (2025-02-12T15:03:33Z)
• Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models [83.65386456026441]
  Data-Juicer 2.0は、テキスト、画像、ビデオ、オーディオのモダリティにまたがる100以上のデータ処理オペレータがバックアップするデータ処理システムである。 データ分析、合成、アノテーション、基礎モデルのポストトレーニングなど、より重要なタスクをサポートする。 このシステムは公開されており、さまざまな研究分野やAlibaba Cloud PAIのような現実世界の製品で広く採用されている。
  論文  参考訳（メタデータ） (2024-12-23T08:29:57Z)
• ToolFlow: Boosting LLM Tool-Calling Through Natural and Coherent Dialogue Synthesis [80.34000499166648]
  より関連性の高いツールの組み合わせをサンプリングするためのグラフベースのサンプリング戦略と、コヒーレントな対話の合成を導く計画を作成するための計画生成戦略を提案する。 ツールフローで生成した8000の合成対話を用いてLLaMA-3.1-8BにSFTを適用した。 その結果,GPT-4に匹敵するツールコール性能が得られた。
  論文  参考訳（メタデータ） (2024-10-24T05:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。