論文の概要: Make Your Training Flexible: Towards Deployment-Efficient Video Models

• arxiv url: http://arxiv.org/abs/2503.14237v1
• Date: Tue, 18 Mar 2025 13:15:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:15:47.864047
• Title: Make Your Training Flexible: Towards Deployment-Efficient Video Models
• Title（参考訳）: トレーニングを柔軟にする - デプロイ効率の良いビデオモデルを目指して
• Authors: Chenting Wang, Kunchang Li, Tianxiang Jiang, Xiangyu Zeng, Yi Wang, Limin Wang,
• Abstract要約: 予算間での入力情報を最大化するための新しいテスト設定であるToken Optimizationを提案する。 サンプリンググリッドをフレキシブルにし、トークンの選択を活用することで、最も人気のあるビデオトレーニングフレームワークに容易に採用できる。 大規模なビデオ事前トレーニングにFluxを統合し、その結果のFluxViTは、標準的なコストで広範囲のタスクにまたがって、新たな最先端の結果を確立します。
• 参考スコア（独自算出の注目度）: 22.727848052298427
• License:
• Abstract: Popular video training methods mainly operate on a fixed number of tokens sampled from a predetermined spatiotemporal grid, resulting in sub-optimal accuracy-computation trade-offs due to inherent video redundancy. They also lack adaptability to varying computational budgets for downstream tasks, hindering applications of the most competitive model in real-world scenes. We thus propose a new test setting, Token Optimization, for maximized input information across budgets, which optimizes the size-limited set of input tokens through token selection from more suitably sampled videos. To this end, we propose a novel augmentation tool termed Flux. By making the sampling grid flexible and leveraging token selection, it is easily adopted in most popular video training frameworks, boosting model robustness with nearly no additional cost. We integrate Flux in large-scale video pre-training, and the resulting FluxViT establishes new state-of-the-art results across extensive tasks at standard costs. Notably, with 1/4 tokens only, it can still match the performance of previous state-of-the-art models with Token Optimization, yielding nearly 90\% savings. All models and data are available at https://github.com/OpenGVLab/FluxViT.
• Abstract（参考訳）: 一般的なビデオトレーニング手法は主に、所定の時空間格子からサンプリングされた一定数のトークンで動作し、その結果、固有のビデオ冗長性により、準最適精度計算のトレードオフが発生する。 また、下流タスクの様々な計算予算への適応性に欠けており、現実世界のシーンで最も競争力のあるモデルの応用を妨げる。 そこで我々は,より適切なサンプルビデオからのトークン選択により,入力トークンのサイズ制限セットを最適化する,予算間での入力情報の最大化のための新しいテスト設定であるToken Optimizationを提案する。 そこで本研究では,Fluxと呼ばれる新しい拡張ツールを提案する。 サンプリンググリッドをフレキシブルにし、トークンの選択を活用することで、ほとんどの一般的なビデオトレーニングフレームワークで容易に採用でき、モデルロバスト性をほぼ追加コストなしで向上させることができる。 大規模なビデオ事前トレーニングにFluxを統合し、その結果のFluxViTは、標準的なコストで広範囲のタスクにまたがって、新たな最先端の結果を確立します。 特に、1/4トークンのみを使用すると、従来の最先端モデルとToken Optimizationのパフォーマンスが一致し、90%近く節約できる。 すべてのモデルとデータはhttps://github.com/OpenGVLab/FluxViT.comで入手できる。

関連論文リスト

• Free Video-LLM: Prompt-guided Visual Perception for Efficient Training-free Video LLMs [56.040198387038025]
  トレーニング不要ビデオLLMの効率的な推論のための新しいプロンプト誘導視覚認識フレームワーク(Free Video-LLM)を提案する。 提案手法は,複数のビデオ質問応答ベンチマークにおいて高い性能を維持しながら,視覚トークンの数を効果的に削減する。
  論文  参考訳（メタデータ） (2024-10-14T12:35:12Z)
• Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs [18.242110417706]
  この研究は、膨大なラベルのないオープンデータから事前訓練された言語モデルへの活用と選択に焦点を当てている。 特定の条件下での微調整タスクに対するこのアプローチの最適性を示す。 提案手法は既存の手法よりもはるかに高速で,GPU時間内に数百万のサンプルにスケールアップする。
  論文  参考訳（メタデータ） (2024-05-05T00:08:00Z)
• Getting the most out of your tokenizer for pre-training and domain adaptation [26.427537023771844]
  トークン化器のサイズ,事前トークン化正規表現,およびトレーニングデータは,モデルの生成速度に大きな影響を及ぼすことを示す。 我々は,事前学習したLCMのトークン化を専門とし,生成速度と有効コンテキストサイズに大きな利得を得る。
  論文  参考訳（メタデータ） (2024-02-01T21:49:34Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Efficient Meta-Tuning for Content-aware Neural Video Delivery [40.3731358963689]
  計算コストを削減するために,EMT(Efficient Meta-Tuning)を提案する。 EMTは入力ビデオの最初のチャンクにメタ学習モデルを適用する。 本稿では,ビデオフレームから最も困難なパッチを抽出するための新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-20T06:47:10Z)
• ViViT: A Video Vision Transformer [75.74690759089529]
  ビデオ分類にpure-transformerベースのモデルを提案する。 本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。 トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-03-29T15:27:17Z)
• Scene-Adaptive Video Frame Interpolation via Meta-Learning [54.87696619177496]
  テスト時に容易に利用できる追加情報を利用することで、各ビデオにモデルを適用することを提案する。 追加パラメータを使わずに1つの勾配更新しか行わず、大幅な性能向上が得られます。
  論文  参考訳（メタデータ） (2020-04-02T02:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。