論文の概要: R1-SyntheticVL: Is Synthetic Data from Generative Models Ready for Multimodal Large Language Model?
- arxiv url: http://arxiv.org/abs/2602.03300v1
- Date: Tue, 03 Feb 2026 09:26:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.357116
- Title: R1-SyntheticVL: Is Synthetic Data from Generative Models Ready for Multimodal Large Language Model?
- Title(参考訳): R1-SyntheticVL:多モーダル大言語モデルに適した生成モデルからの合成データか?
- Authors: Jingyi Zhang, Tianyi Lin, Huanjin Yao, Xiang Lan, Shunyu Liu, Jiaxing Huang,
- Abstract要約: 本稿では,MLLMのための高品質,多様性,挑戦的なマルチモーダルデータを合成するための,新しい汎用的アプローチであるCADSを提案する。
CADSは2つの周期的位相(CAD-Generate)とCAD-Judge(CAD-Judge)で動作する。
- 参考スコア(独自算出の注目度): 22.68584544498708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we aim to develop effective data synthesis techniques that autonomously synthesize multimodal training data for enhancing MLLMs in solving complex real-world tasks. To this end, we propose Collective Adversarial Data Synthesis (CADS), a novel and general approach to synthesize high-quality, diverse and challenging multimodal data for MLLMs. The core idea of CADS is to leverage collective intelligence to ensure high-quality and diverse generation, while exploring adversarial learning to synthesize challenging samples for effectively driving model improvement. Specifically, CADS operates with two cyclic phases, i.e., Collective Adversarial Data Generation (CAD-Generate) and Collective Adversarial Data Judgment (CAD-Judge). CAD-Generate leverages collective knowledge to jointly generate new and diverse multimodal data, while CAD-Judge collaboratively assesses the quality of synthesized data. In addition, CADS introduces an Adversarial Context Optimization mechanism to optimize the generation context to encourage challenging and high-value data generation. With CADS, we construct MMSynthetic-20K and train our model R1-SyntheticVL, which demonstrates superior performance on various benchmarks.
- Abstract(参考訳): 本研究では,複雑な実世界の課題を解く上で,MLLMの強化を目的としたマルチモーダルトレーニングデータを自律的に合成する効果的なデータ合成手法を開発することを目的とする。
そこで本研究では,MLLMのための高品質,多様性,難易度の高いマルチモーダルデータを合成するための,新しい汎用的アプローチであるCADSを提案する。
CADSの中核的な考え方は、集団知性を活用して高品質で多様な世代を確保することであり、一方で、モデル改善を効果的に推進するための挑戦的なサンプルを合成するために、敵対的な学習を探索することである。
具体的には、CADSは、CAD-Generate(Collective Adversarial Data Generation)とCAD-Judge(Collective Adversarial Data Judgment)の2つの循環フェーズで動作する。
CAD-Generateは、集合的知識を活用して、新しい多様なマルチモーダルデータを共同で生成し、CAD-Judgeは、合成データの品質を協調的に評価する。
さらに、CADSは、挑戦的で高価値なデータ生成を促進するために、生成コンテキストを最適化するAdversarial Context Optimizationメカニズムを導入している。
CADSを用いて、MMSynthetic-20Kを構築し、モデルR1-SyntheticVLを訓練し、様々なベンチマークにおいて優れた性能を示す。
関連論文リスト
- A Reinforcement Learning Approach to Synthetic Data Generation [8.293402602656736]
RLSynは患者記録に対するポリシーとしてデータジェネレータをモデル化する新しいフレームワークである。
我々は、プライバシー、実用性、忠実度を評価する上で、最先端のジェネレーティブ・敵ネットワーク(GAN)と拡散に基づく手法を比較検討した。
論文 参考訳(メタデータ) (2025-12-24T19:26:37Z) - Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。
提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
論文 参考訳(メタデータ) (2025-03-25T11:07:12Z) - Exploring the Landscape for Generative Sequence Models for Specialized Data Synthesis [0.0]
本稿では, 複雑度の異なる3つの生成モデルを用いて, 悪意ネットワークトラフィックを合成する手法を提案する。
提案手法は,数値データをテキストに変換し,言語モデリングタスクとして再フレーミングする。
提案手法は,高忠実度合成データの生成において,最先端の生成モデルを超えている。
論文 参考訳(メタデータ) (2024-11-04T09:51:10Z) - On the Diversity of Synthetic Data and its Impact on Training Large Language Models [34.00031258223175]
大規模言語モデル(LLM)は、多種多様な高品質な事前学習データの必要性を強調している。
合成データは、データの不足とアクセシビリティの課題に対する、実行可能なソリューションとして現れます。
本研究では, 事前学習および微調整段階における合成データ多様性の下流効果について検討した。
論文 参考訳(メタデータ) (2024-10-19T22:14:07Z) - Enhancing One-Shot Federated Learning Through Data and Ensemble
Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。
合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文 参考訳(メタデータ) (2024-02-23T03:15:10Z) - TSGM: A Flexible Framework for Generative Modeling of Synthetic Time Series [61.436361263605114]
時系列データは、研究者と産業組織間のデータの共有を妨げるため、しばしば不足または非常に敏感である。
本稿では,合成時系列の生成モデリングのためのオープンソースフレームワークである時系列生成モデリング(TSGM)を紹介する。
論文 参考訳(メタデータ) (2023-05-19T10:11:21Z) - SYNC: A Copula based Framework for Generating Synthetic Data from
Aggregated Sources [8.350531869939351]
ダウンスケーリングと呼ばれる合成データ生成タスクについて検討する。
我々はSynC (Synthetic Data Generation via Gaussian Copula) と呼ばれる多段階フレームワークを提案する。
私たちはこの仕事に4つの重要な貢献をしています。
論文 参考訳(メタデータ) (2020-09-20T16:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。