論文の概要: UniData: Universal Multimodal Instruction Generation Pipeline

• arxiv url: http://arxiv.org/abs/2610.11363v1
• Date: Thu, 08 Oct 2026 06:52:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.848218
• Title: UniData: Universal Multimodal Instruction Generation Pipeline
• Title（参考訳）: UniData: ユニバーサルマルチモーダル命令生成パイプライン
• Abstract要約: 汎用的な命令生成パイプラインであるUniDataを導入し、シンプルなユーザ要求をマルチラウンドマルチモーダル命令に変換する。 UniDataは、命令ラウンド間の相関を利用して、無関係で冗長な推論フローを修正することで、データ品質を向上させる。 我々の実験は、UniDataがデータ品質のSOTA性能を実現し、他のマルチモーダルモデルの理解と生成能力を向上させることを実証している。
• 参考スコア（独自算出の注目度）: 87.57283968835742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) are increasingly being applied in a wider range of real-world scenarios. However, due to the substantial labor cost, creating high-quality multimodal instruction datasets for MLLMs remains a significant challenge. Although some methods propose to generate instruction data, they often face limitations in modality support and struggle with generating multi-round instructions. To address these problems, we introduce UniData, a universal instruction generation pipeline, to transform simple user requirements into multi-round, multimodal instructions. Specifically, UniData first expands user requirements into multiple diverse events. Using these events, UniData then integrates an any-to-any large model for multimodal instruction generation. Finally, UniData enhances data quality by correcting irrelevant and redundant inference flow, leveraging correlations between instruction rounds. To train this pipeline, we also build UniDataset, a dataset comprising 20,000 entries across nine modalities for improved multimodal generation. Our experiments demonstrate that UniData achieves SOTA performance in data quality and can also enhance the understanding and generation capabilities of other multimodal models.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、より広範囲の現実世界のシナリオに適用されている。 しかし、多大な労力がかかるため、MLLMのための高品質なマルチモーダル・インストラクション・データセットを作成することは大きな課題である。 命令データを生成する方法も提案されているが、モダリティサポートの制限やマルチラウンド命令の生成に苦労することが多い。 これらの問題に対処するために,シンプルなユーザ要求をマルチラウンドマルチモーダル命令に変換する汎用的な命令生成パイプラインUniDataを導入する。 具体的には、UniDataはまず、ユーザ要求を複数の多様なイベントに拡張する。 これらのイベントを使用して、UniDataはマルチモーダル命令生成のための任意の大きなモデルを統合する。 最後に、UniDataは、命令ラウンド間の相関を利用して、無関係で冗長な推論フローを修正することで、データ品質を向上させる。 このパイプラインをトレーニングするために、9つのモードにまたがる20,000のエントリからなるデータセットであるUniDatasetを構築し、マルチモーダル生成を改善した。 我々の実験は、UniDataがデータ品質のSOTA性能を実現し、他のマルチモーダルモデルの理解と生成能力を向上させることを実証している。

関連論文リスト

• UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark [72.37370242707432]
  本稿では,Unified Any-to-Any Interleaved MultimodalデータセットであるUniMベンチマークを紹介する。 UniMには30ドメインにわたる31Kの高品質インスタンスと7つの代表モダリティが含まれている。 セマンティック・コヒーレンス(Semantic Correctness & Generation Quality)、応答構造整合性(Re Response Structure Integrity)、インターリーブド・コヒーレンス(Interleaved Coherence)という3次元のモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-05T11:45:16Z)
• Infinity-MM: Scaling Multimodal Performance with Large-Scale and High-Quality Instruction Data [35.85909368345219]
  大規模マルチモーダル命令データセットであるInfinity-MMを導入する。 統一された前処理を実行し、多様性と正確性を保証する4000万以上のサンプルからなるデータセットを作成しました。 タグ付けシステムとオープンソースのVision-Languageモデルに基づく合成命令生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-24T09:03:48Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• Semantic-Aware Representation of Multi-Modal Data for Data Ingress: A Literature Review [1.8590097948961688]
  LLM(Large Language Models)のような生成AIは、テキスト、画像、オーディオ、ビデオなどのマルチモーダルデータを処理するために広く採用されている。 このデータを効率的に管理することは、データ量が2倍にならないため、業界倍の課題となっている。 本研究では,モノモーダル,マルチモーダル,クロスモーダルデータから埋め込みを抽出するセマンティック・アウェア技術に着目した。
  論文  参考訳（メタデータ） (2024-07-17T09:49:11Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Towards Robust Instruction Tuning on Multimodal Large Language Models [25.506776502317436]
  本研究では,マルチモーダルタスクにおいて,INSTRAUGという自動命令拡張手法を導入する。 2つの人気のあるマルチモーダル命令フォローベンチマークの結果、INSTRAUGは12のマルチモーダルタスク間でのMLLM(Multimodal Large Language Model)のアライメントを大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2024-02-22T12:35:50Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。