論文の概要: MM-GEN: Enhancing Task Performance Through Targeted Multimodal Data Curation

• arxiv url: http://arxiv.org/abs/2501.04155v1
• Date: Tue, 07 Jan 2025 21:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:57:02.640388
• Title: MM-GEN: Enhancing Task Performance Through Targeted Multimodal Data Curation
• Title（参考訳）: MM-GEN:ターゲットとするマルチモーダルデータキュレーションによるタスクパフォーマンス向上
• Authors: Siddharth Joshi, Besmira Nushi, Vidhisha Balachandran, Varun Chandrasekaran, Vibhav Vineet, Neel Joshi, Baharan Mirzasoleiman,
• Abstract要約: MM-Genはタスク固有の高品質な合成テキストを生成するスケーラブルな手法である。 MM-Genによって生成されたデータによる微調整VLMは、大幅な性能向上をもたらす。 人為的なキャプションデータと比較すると、MM-Genは最大1.6倍の改善を実現している。
• 参考スコア（独自算出の注目度）: 31.21163360113923
• License:
• Abstract: Vision-language models (VLMs) are highly effective but often underperform on specialized tasks; for example, Llava-1.5 struggles with chart and diagram understanding due to scarce task-specific training data. Existing training data, sourced from general-purpose datasets, fails to capture the nuanced details needed for these tasks. We introduce MM-Gen, a scalable method that generates task-specific, high-quality synthetic text for candidate images by leveraging stronger models. MM-Gen employs a three-stage targeted process: partitioning data into subgroups, generating targeted text based on task descriptions, and filtering out redundant and outlier data. Fine-tuning VLMs with data generated by MM-Gen leads to significant performance gains, including 29% on spatial reasoning and 15% on diagram understanding for Llava-1.5 (7B). Compared to human-curated caption data, MM-Gen achieves up to 1.6x better improvements for the original models, proving its effectiveness in enhancing task-specific VLM performance and bridging the gap between general-purpose datasets and specialized requirements. Code available at https://github.com/sjoshi804/MM-Gen.
• Abstract（参考訳）: 例えば、Llava-1.5では、タスク固有のトレーニングデータが少ないため、チャートやダイアグラムの理解に苦労している。 汎用データセットから得られた既存のトレーニングデータは、これらのタスクに必要な微妙な詳細をキャプチャできない。 本稿では,より強力なモデルを活用することで,課題固有で高品質な画像合成テキストを生成するスケーラブルなMM-Genを提案する。 MM-Genは、データをサブグループに分割し、タスク記述に基づいてターゲットテキストを生成し、冗長で外れやすいデータをフィルタリングする3段階のターゲットプロセスを採用している。 MM-Genによって生成されたデータによる微調整VLMは、空間推論の29%、Llava-1.5のダイアグラム理解の15%など、大きなパフォーマンス向上をもたらす。 人為的なキャプションデータと比較すると、MM-Genはオリジナルのモデルの最大1.6倍の改善を実現し、タスク固有のVLM性能を高め、汎用データセットと特別な要件のギャップを埋める効果を証明している。 コードはhttps://github.com/sjoshi804/MM-Genで公開されている。

関連論文リスト

• ProVision: Programmatically Scaling Vision-centric Instruction Data for Multimodal Language Models [103.25208095165486]
  既存のプラクティスは命令データを生成するために、強力だが高価な言語モデル(LLM)やマルチモーダル言語モデル(MLM)に依存している。 本稿では,シーングラフを画像のシンボル表現として利用し,視覚中心の命令データを体系的に合成するプログラムを提案する。 提案手法は,データ生成プロセスの解釈可能性と制御性を保証し,実際の精度を維持しながら効率よくスケールする。
  論文  参考訳（メタデータ） (2024-12-09T21:44:02Z)
• Advancing Multimodal Large Language Models in Chart Question Answering with Visualization-Referenced Instruction Tuning [1.6570772838074355]
  マルチモーダル大言語モデル(MLLM)は、チャート質問応答(CQA)に大きな可能性を示す 近年の取り組みは、データ収集と合成によるデータセットのスケールアップに重点を置いている。 本稿では,トレーニングデータセットの強化とモデル開発を指導するための,可視化参照型指導チューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:04:34Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Concept-skill Transferability-based Data Selection for Large Vision-Language Models [56.0725292404808]
  視覚言語モデルを学習するための効果的でスケーラブルなデータ選択手法であるCOINCIDEを紹介する。 我々は,目標LVLMに必要な概念スキル構成を識別する小型モデルからの内部アクティベーションを用いて,トレーニングデータをクラスタ化する。 実験により、COINCIDEは8つの強いベースラインに対して、優れた性能とデータ選択効率を実現することが示された。
  論文  参考訳（メタデータ） (2024-06-16T16:15:20Z)
• UniDM: A Unified Framework for Data Manipulation with Large Language Models [66.61466011795798]
  大規模言語モデル(LLM)は複数のデータ操作タスクを解決する。 LLMはパフォーマンス面では明るい利点を示すが、それぞれのタスクに合うようにカスタマイズされた設計が必要である。 データ操作タスクを処理するための新しいパラダイムを確立する統一フレームワークUniDMを提案する。
  論文  参考訳（メタデータ） (2024-05-10T14:44:04Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。