論文の概要: VidUEU-Agent: A Data-Curation Agent for Multimodal Understanding, Editing, and Unified Tasks

• arxiv url: http://arxiv.org/abs/2611.04418v1
• Date: Tue, 03 Nov 2026 07:02:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:57:33.015848
• Title: VidUEU-Agent: A Data-Curation Agent for Multimodal Understanding, Editing, and Unified Tasks
• Title（参考訳）: VidUEU-Agent:マルチモーダル理解、編集、統一タスクのためのデータキュレーションエージェント
• Abstract要約: VidUEU-Agentは、マルチモーダル理解、編集、統合タスクのために生のビデオから命令データを合成する自動パイプラインである。 VidUEU-Agentは4段階のパイプラインに従っており、低品質のショット、地雷、マルチモーダル信号のフィルタリングを行い、メタデータを構築し、メタデータをルーティングして命令サンプルを合成する。 複数のドメインやタスクにまたがる100Kトレーニングサンプルの大規模なデータセットであるVidUEU-100Kを構築した。
• 参考スコア（独自算出の注目度）: 30.102836710504565
• License:
• Abstract: The advancement of multimodal learning is heavily constrained by the scarcity and high annotation cost of high-quality instruction data. While raw videos offer an abundant and dynamic source of visual knowledge, transforming them into precise instruction data remains highly challenging. To bridge this gap, we present VidUEU-Agent, an automated pipeline that synthesizes instruction data from raw videos for multimodal understanding, editing, and unified tasks. VidUEU-Agent follows a four-stage pipeline: it performs global perception to filter low-quality shots, mines keyframes and multimodal signals, constructs metadata and routes the metadata to synthesize instruction samples. More importantly, our agent framework can autonomously iterate the data distribution based on downstream training results, thereby optimizing data quality, balance, and training effectiveness. Scaling this pipeline, we construct VidUEU-100K, a large-scale dataset of 100K training samples spanning multiple domains and tasks, providing a robust foundation for developing comprehensive multimodal capabilities. Extensive experiments demonstrate that fine-tuning baseline models on VidUEU-100K yields significant and consistent performance gains across diverse representative benchmarks, validating the effectiveness of our proposed agent framework and dataset.
• Abstract（参考訳）: マルチモーダル学習の進歩は、高品質な命令データの不足と高アノテーションコストに強く制約されている。 生のビデオは視覚的知識の豊富でダイナミックな源泉を提供するが、それらを正確な指示データに変換することは極めて困難である。 このギャップを埋めるために、私たちはVidUEU-Agentという、マルチモーダル理解、編集、統一されたタスクのために生のビデオから命令データを合成する自動パイプラインを紹介します。 VidUEU-Agentは4段階のパイプラインに従い、低品質ショットのフィルタリング、キーフレームとマルチモーダル信号のマイニング、メタデータの構築、メタデータのルーティング、命令サンプルの合成を行う。 さらに重要なことは、当社のエージェントフレームワークが下流トレーニング結果に基づいてデータ分散を自律的にイテレーションし、データ品質、バランス、トレーニング効率を最適化できることです。 このパイプラインをスケールして、複数のドメインとタスクにまたがる100Kトレーニングサンプルの大規模なデータセットであるVidUEU-100Kを構築し、包括的なマルチモーダル機能を開発するための堅牢な基盤を提供します。 VidUEU-100K上での微調整ベースラインモデルは、様々な代表ベンチマークで顕著かつ一貫したパフォーマンス向上をもたらし、提案するエージェントフレームワークとデータセットの有効性を検証する。

関連論文リスト

• Reconstruction-Driven Multimodal Representation Learning for Automated Media Understanding [0.1411701037241356]
  本稿では,テキスト,音声,視覚データ間の統一表現を学習するマルチモーダルオートエンコーダを提案する。 線形ベースラインに比べてクラスタリングとアライメントの指標が大幅に改善された。 その結果、現代放送の自動化、検索可能性、コンテンツ管理効率を高めるために、再構成駆動型マルチモーダル学習の可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-11-17T19:13:51Z)
• Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents [85.02904078131682]
  本稿では,エージェントデータセット間の"インターリングア"として機能する軽量表現言語であるエージェントデータプロトコル(ADP)を紹介する。 ADPはAPI/ツールの使用、ブラウジング、コーディング、ソフトウェアエンジニアリング、一般的なエージェントなど、さまざまなタスクを捉えるのに十分な表現力を持っている。 すべてのコードとデータが公開され、ADPが標準化され、スケーラブルで再現可能なエージェントトレーニングの障壁を低くすることを期待している。
  論文  参考訳（メタデータ） (2025-10-28T17:53:13Z)
• Sparrow: Data-Efficient Video-LLM with Text-to-Image Augmentation [57.34255010956452]
  この研究は、合成データによるスケーリングを再考し、データ中心の観点からビデオLLMの開発に焦点を当てる。 本研究では,純粋なテキスト命令データからビデオライクなサンプルを合成するSparrowというデータ拡張手法を提案する。 提案手法は,より多くのサンプルを用いてトレーニングしたベースラインに匹敵する,あるいは優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-11-29T18:59:54Z)
• Infinity-MM: Scaling Multimodal Performance with Large-Scale and High-Quality Instruction Data [35.85909368345219]
  大規模マルチモーダル命令データセットであるInfinity-MMを導入する。 統一された前処理を実行し、多様性と正確性を保証する4000万以上のサンプルからなるデータセットを作成しました。 タグ付けシステムとオープンソースのVision-Languageモデルに基づく合成命令生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-24T09:03:48Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。