論文の概要: Oasis: One Image is All You Need for Multimodal Instruction Data Synthesis

• arxiv url: http://arxiv.org/abs/2503.08741v1
• Date: Tue, 11 Mar 2025 08:25:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:40:15.739749
• Title: Oasis: One Image is All You Need for Multimodal Instruction Data Synthesis
• Title（参考訳）: Oasis:マルチモーダルなインストラクションデータ合成に必要な画像は1つ
• Authors: Letian Zhang, Quan Cui, Bingchen Zhao, Cheng Yang,
• Abstract要約: 画像のみを用いて高品質なマルチモーダルデータを合成するための新しい手法Oasisを提案する。 Oasisは、MLLMにイメージのみをプロンプトすることで、従来のメソッドを分解する。 本手法はデータ品質を確保するための微妙な品質制御手法を特徴とする。
• 参考スコア（独自算出の注目度）: 19.75619888353222
• License:
• Abstract: The success of multi-modal large language models (MLLMs) has been largely attributed to the large-scale training data. However, the training data of many MLLMs is unavailable due to privacy concerns. The expensive and labor-intensive process of collecting multi-modal data further exacerbates the problem. Is it possible to synthesize multi-modal training data automatically without compromising diversity and quality? In this paper, we propose a new method, Oasis, to synthesize high-quality multi-modal data with only images. Oasis breaks through traditional methods by prompting only images to the MLLMs, thus extending the data diversity by a large margin. Our method features a delicate quality control method which ensures the data quality. We collected over 500k data and conducted incremental experiments on LLaVA-NeXT. Extensive experiments demonstrate that our method can significantly improve the performance of MLLMs. The image-based synthesis also allows us to focus on the specific-domain ability of MLLMs. Code and data will be publicly available.
• Abstract（参考訳）: MLLM(Multi-modal large language model)の成功は、大規模なトレーニングデータによるところが大きい。 しかし、プライバシー上の懸念から多くのMLLMのトレーニングデータは利用できない。 高価で労働集約的なマルチモーダルデータ収集プロセスにより、この問題はさらに悪化する。 多様性と品質を損なうことなく、マルチモーダルトレーニングデータを自動で合成することは可能か? 本稿では,画像のみを用いて高品質なマルチモーダルデータを合成するOasisを提案する。 OasisはMLLMにイメージのみをプッシュすることで従来の手法を破り、データの多様性を大きなマージンで拡張する。 本手法はデータ品質を確保するための微妙な品質制御手法を特徴とする。 我々は500k以上のデータを収集し,LLaVA-NeXTのインクリメンタルな実験を行った。 大規模な実験により,本手法はMLLMの性能を大幅に向上させることができることが示された。 画像に基づく合成により、MLLMの特定領域能力にも焦点が当てられる。 コードとデータは公開されます。

関連論文リスト

• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [56.08867996209236]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルな異種シナリオにおけるMLLMのファインチューニング性能を評価するためのベンチマークを提案する。 従来のFL手法を2つのモダリティに依存しない戦略と組み合わせた一般的なFedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• Infinity-MM: Scaling Multimodal Performance with Large-Scale and High-Quality Instruction Data [35.85909368345219]
  大規模マルチモーダル命令データセットであるInfinity-MMを導入する。 統一された前処理を実行し、多様性と正確性を保証する4000万以上のサンプルからなるデータセットを作成しました。 タグ付けシステムとオープンソースのVision-Languageモデルに基づく合成命令生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-24T09:03:48Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• UniDM: A Unified Framework for Data Manipulation with Large Language Models [66.61466011795798]
  大規模言語モデル(LLM)は複数のデータ操作タスクを解決する。 LLMはパフォーマンス面では明るい利点を示すが、それぞれのタスクに合うようにカスタマイズされた設計が必要である。 データ操作タスクを処理するための新しいパラダイムを確立する統一フレームワークUniDMを提案する。
  論文  参考訳（メタデータ） (2024-05-10T14:44:04Z)
• ModaVerse: Efficiently Transforming Modalities with LLMs [25.49713745405194]
  ModaVerseはマルチモーダルな大規模言語モデルで、様々なモダリティにまたがってコンテンツを解釈・変換できる。 自然言語のレベルで直接動作する新しい入出力(I/O)アライメント機構を提案する。
  論文  参考訳（メタデータ） (2024-01-12T06:28:54Z)
• How to Bridge the Gap between Modalities: Survey on Multimodal Large Language Model [12.358079352117699]
  テキストや画像,音声などを含むマルチモーダルデータの処理にLLMを統合したマルチモーダル大規模言語モデル(MLLM)について検討する。 MLLMはマルチモーダルデータのセマンティックギャップに対処する上で、誤った出力につながる可能性がある。 効果的なモダリティアライメントの実装は、LLMが環境問題に対処し、アクセシビリティを高めるのに役立つ。
  論文  参考訳（メタデータ） (2023-11-10T09:51:24Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。