論文の概要: VidaForge: Open Research Infrastructure for Video Pretraining Data Recipes
- arxiv url: http://arxiv.org/abs/2609.06652v1
- Date: Sun, 06 Sep 2026 15:03:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 04:57:30.407985
- Title: VidaForge: Open Research Infrastructure for Video Pretraining Data Recipes
- Title(参考訳): VidaForge: ビデオプレトレーニングデータレシピのためのオープンリサーチインフラストラクチャ
- Abstract要約: VIDAFORGEは、生のビデオからトレーニングデータセットまで、ビデオデータレシピを実行可能な5段階ワークフローとして表現する。
We compare data recipes with different coverage and quality in early from-scratch pretraining of Wan 2.1 and V-JEPA 2.1。
本研究では、VidaForgeがデータレシピの選択を下流モデルのパフォーマンスにどのように結び付けるかを示す。
- 参考スコア(独自算出の注目度): 26.605701199270495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video foundation models increasingly rely on large-scale pretraining data, yet the end-to-end data pipelines behind them remain largely closed and difficult to inspect or reuse. Researchers seeking to understand how video data recipes affect model pretraining often need to build substantial infrastructure before testing even a focused hypothesis. We present VIDAFORGE, an open research infrastructure that represents a video data recipe as an executable five-stage workflow from raw videos to training datasets. A decision in this workflow can be varied to construct alternative datasets while preserving how every sample was produced. To demon strate this research workflow, we compare data recipes with different coverage and quality in early from-scratch pretraining of Wan 2.1 and V-JEPA 2.1. Across both learning objectives, the broader-coverage recipe achieves the highest downstream benchmark scores, while loss-based evaluation favors different recipes. This study demonstrates how VidaForge connects data-recipe choices to downstream model performance. We further release VIDAFORGE-3M, containing 3.14 million scene level clips totaling 6,475 hours, with fine-grained annotations and curation signals for video data-recipe research.
- Abstract(参考訳): ビデオファウンデーションモデルは、大規模な事前トレーニングデータにますます依存しているが、背後にあるエンドツーエンドのデータパイプラインは、ほとんど閉じていて、検査や再利用が難しいままである。
ビデオデータのレシピがモデル事前学習にどのように影響するかを理解しようとする研究者たちは、集中した仮説をテストする前に、かなりのインフラを構築する必要があることが多い。
VIDAFORGEは、生のビデオからトレーニングデータセットまで、ビデオデータのレシピを実行可能な5段階のワークフローとして表現するオープンな研究基盤である。
このワークフローにおける決定は、各サンプルの生成方法を保持しながら、代替データセットを構築するために変更することができる。
この研究ワークフローを実証するために、Wan 2.1 と V-JEPA 2.1 の早期事前学習において、データレシピを異なるカバレッジと品質で比較する。
どちらの学習目標においても、より広いカバレッジのレシピは最高ダウンストリームのベンチマークスコアを達成し、損失ベースの評価は異なるレシピを好んでいる。
本研究では、VidaForgeがデータレシピの選択を下流モデルのパフォーマンスにどのように結び付けるかを示す。
VIDAFORGE-3Mは314万のシーンレベルのクリップを総計6,475時間、微粒なアノテーションとビデオデータ検索のためのキュレーション信号を含む。
関連論文リスト
- Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。
内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
論文 参考訳(メタデータ) (2026-03-31T16:31:25Z) - DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning [27.75273528849027]
提案するDataChef-32Bは,候補レシピの下流性能を予測するプロキシ報酬を用いて,オンライン強化学習を行う。
DataChef-32BのレシピはQwen3-1.7Bベースを数学領域に適応させ、AIME'25で66.7、Qwen3-1.7Bを超えた。
論文 参考訳(メタデータ) (2026-02-11T17:56:15Z) - Sparrow: Data-Efficient Video-LLM with Text-to-Image Augmentation [57.34255010956452]
この研究は、合成データによるスケーリングを再考し、データ中心の観点からビデオLLMの開発に焦点を当てる。
本研究では,純粋なテキスト命令データからビデオライクなサンプルを合成するSparrowというデータ拡張手法を提案する。
提案手法は,より多くのサンプルを用いてトレーニングしたベースラインに匹敵する,あるいは優れた性能を実現する。
論文 参考訳(メタデータ) (2024-11-29T18:59:54Z) - An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。
本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。
提案されたフレームワークは使いやすく、柔軟です。
論文 参考訳(メタデータ) (2024-02-26T07:22:51Z) - Data-Juicer: A One-Stop Data Processing System for Large Language Models [73.27731037450995]
データレシピは、大規模言語モデル(LLM)をトレーニングするための異なるソースからのデータの混合である。
我々はData-Juicerという新しいシステムを構築し、多様なデータレシピを効率的に生成できる。
Data-Juicerから派生したデータレシピは、最先端のLLMで顕著に改善されている。
論文 参考訳(メタデータ) (2023-09-05T08:22:07Z) - Structured Vision-Language Pretraining for Computational Cooking [54.0571416522547]
Vision-Language PretrainingとFoundationモデルは、一般的なベンチマークでSoTAのパフォーマンスを達成するためのゴーツーレシピです。
本稿では,これらの手法を構造化テキストベースの計算料理タスクに活用することを提案する。
論文 参考訳(メタデータ) (2022-12-08T13:37:17Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z) - Constructing a Highlight Classifier with an Attention Based LSTM Neural
Network [0.0]
市場研究者は、関連する部分を特定するために、消費者調査ビデオの大部分を手作業でレビューする。
本研究では,教師付き学習モデルに基づくNLPに基づくハイライト識別と抽出のための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-02-12T15:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。