論文の概要: MLLM-DataEngine: Closing the Loop of Multimodal Instruction Tuning Data Generation

• arxiv url: http://arxiv.org/abs/2607.15299v1
• Date: Tue, 07 Jul 2026 08:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.904952
• Title: MLLM-DataEngine: Closing the Loop of Multimodal Instruction Tuning Data Generation
• Title（参考訳）: MLLM-DataEngine:マルチモーダルインストラクションチューニングデータ生成のループを閉鎖する
• Abstract要約: 本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループイテレーションの中で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 MLLM-DataEngineは,人間を介さずに,目標かつ自動でMLLMの能力を高めることができる。
• 参考スコア（独自算出の注目度）: 51.15583711678273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose MLLM-DataEngine, a novel closed-loop system that bridges data generation, model training, and evaluation. Within each loop iteration, the MLLM-DataEngine first analyzes the weakness of the model based on the evaluation results, then generates a proper incremental dataset for the next training iteration, and enhances the model capability iteratively. Compared with previous instruction fine-tuning dataset collection methods which are separate from the benchmarking, MLLM-DataEngine shows better targeting and can improve MLLMs's capabilities more effectively. Firstly, we propose an Adaptive Bad-case Sampling module, which can effectively analyze model weakness based on the benchmarking results and adjust the generation of incremental datasets flexibly. Secondly, in order to ensure high-quality data for specific capability types, the most representative in-context examples and abundant information are provided to GPT-4, which helps GPT-4 fully comprehend the model's weakness and further guarantees high-quality generated data. Through extensive experiments, we find MLLM-DataEngine could boost the MLLMs capability in a targeted and automatic manner without human participants. We hope MLLM-DataEngine could be a general solution for the following MLLMs data curation. Code, data, and model are available at https://github.com/opendatalab/MLLM-DataEngine.
• Abstract（参考訳）: 本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムであるMLLM-DataEngineを提案する。 各ループイテレーション内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析し、次に次のトレーニングイテレーションのための適切なインクリメンタルデータセットを生成し、モデルの能力を反復的に向上させる。 MLLM-DataEngineは、ベンチマークから分離した従来の命令微調整データセット収集手法と比較して、よりターゲティングが良く、MLLMの能力をより効率的に向上させることができる。 まず,適応型バッドケースサンプリングモジュールを提案する。このモジュールは,ベンチマーク結果に基づいてモデル弱点を効果的に解析し,段階的データセットの生成を柔軟に調整する。 第二に、特定の機能タイプに対する高品質なデータを保証するため、最も代表的なインコンテキストの例と豊富な情報がGPT-4に提供され、GPT-4はモデルの弱点を完全に理解し、さらに高品質な生成データを保証する。 大規模な実験により、MLLM-DataEngineは、人間の参加なしにMLLMの能力を高めることができる。 MLLM-DataEngineが次のMLLMのデータキュレーションの一般的なソリューションになることを願っています。 コード、データ、モデルはhttps://github.com/opendatalab/MLLM-DataEngineで入手できる。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation [9.409062607311528]
  大規模言語モデル(LLM)は優れた性能を示しており、研究者はレジスタ転送レベル(RTL)コード生成の自動化に利用することを模索している。 RTL生成のためのファインチューンLSMへの既存のアプローチは、通常、固定データセット上で実行される。 ITERTLと呼ばれる反復的なトレーニングパラダイムを導入し、これらの問題を緩和する。 我々のモデルは GPT4 と State-of-the-art (SOTA) のオープンソースモデルより優れており、VerilogEval- Human ベンチマークでは 53.8% のパス@1 レートを達成した。
  論文  参考訳（メタデータ） (2024-06-28T01:44:57Z)
• Automated Data Curation for Robust Language Model Fine-Tuning [13.8454385440986]
  本稿では,データセットのチューニングを行うための自動データキュレーションパイプライン CLEAR を提案する。 CLEARは、どのトレーニングデータが低品質であるかを見積もる。 実験の結果、CLEARは多くのデータセットやモデルにまたがって微調整されたモデルの性能を一貫して改善していることがわかった。
  論文  参考訳（メタデータ） (2024-03-19T14:44:45Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• Data-Juicer: A One-Stop Data Processing System for Large Language Models [73.27731037450995]
  データレシピは、大規模言語モデル(LLM)をトレーニングするための異なるソースからのデータの混合である。 我々はData-Juicerという新しいシステムを構築し、多様なデータレシピを効率的に生成できる。 Data-Juicerから派生したデータレシピは、最先端のLLMで顕著に改善されている。
  論文  参考訳（メタデータ） (2023-09-05T08:22:07Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。