論文の概要: Video-STLayout Pre-training

• arxiv url: http://arxiv.org/abs/2609.24031v1
• Date: Mon, 21 Sep 2026 02:56:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.044791
• Title: Video-STLayout Pre-training
• Title（参考訳）: Video-STLayout プレトレーニング
• Abstract要約: 事前トレーニングの一般的なフレームワークは、ビデオエンコーダの機能と他のモダリティの表現の整合性を含む。 ボックスのバウンディングによってリッチな映像表現を得るための新しい戦略であるVideo-STを紹介する。 複雑な場面における行動認識におけるアプローチの有効性を示す。
• 参考スコア（独自算出の注目度）: 7.207618886967295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, pre-training has become fundamental to learning effective video representations, enabling strong transfer to downstream tasks. A popular framework in pre-training involves aligning features of a video encoder with that of another modality, for example, language or audio. We introduce Video-STLayout pre-training, a novel strategy for obtaining rich video representations informed by spatio-temporal layout of object bounding boxes. Object layouts can easily be obtained by applying an off-the-shelf object detector on the video frames. Our method uses a contrastive loss to align video features with the layout features from a trained layout encoder. We show the effectiveness of our approach in the task of activity recognition in complex scenes.
• Abstract（参考訳）: 近年、事前学習は効果的な映像表現の学習に欠かせないものとなり、下流のタスクへの強い伝達を可能にしている。 事前トレーニングで一般的なフレームワークは、ビデオエンコーダの機能と他のモダリティ(例えば、言語やオーディオ)の機能を整合させることである。 本稿では,オブジェクト境界ボックスの時空間配置から得られるリッチな映像表現を得るための新しい手法であるVideo-STLayout Pre-trainingを紹介する。 ビデオフレームにオフザシェルフオブジェクト検出器を適用することで、オブジェクトレイアウトを容易に得ることができる。 提案手法は,ビデオ特徴とトレーニングされたレイアウトエンコーダのレイアウト特徴とを一致させるために,コントラスト損失を用いる。 複雑な場面における行動認識におけるアプローチの有効性を示す。

関連論文リスト

• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Frozen CLIP Models are Efficient Video Learners [86.73871814176795]
  ビデオ認識はエンドツーエンドの学習パラダイムに支配されている。 Contrastive Vision-Language Pre-Trainingの最近の進歩は、視覚認識タスクのための新しいルートの道を開く。 高品質なビデオ認識モデルを直接トレーニングする効率的なフレームワークである、効率的なビデオ学習を提案する。
  論文  参考訳（メタデータ） (2022-08-06T17:38:25Z)
• Prompting Visual-Language Models for Efficient Video Understanding [28.754997650215486]
  本稿では,事前学習した1つの視覚言語モデルを,最小限のトレーニングで新しいタスクに効果的に適応させる方法を提案する。 静的画像とビデオのギャップを埋めるために、フレームワイドの視覚的特徴の上に軽量なトランスフォーマーを積み重ねたテンポラリな情報をエンコードする。
  論文  参考訳（メタデータ） (2021-12-08T18:58:16Z)
• Masking Modalities for Cross-modal Video Retrieval [93.10669981708878]
  ビデオエンコーダを事前訓練するための一般的な戦略は、付随する音声を弱い監督力として使用することである。 ビデオエンコーダの事前学習には,映像のモダリティ,すなわち外見,音,書き起こされた音声の監督が用いられる。 How2R, YouCook2, Condensed Moviesデータセット上で, ビデオ検索のための"モダリティマスキング"事前学習手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-01T23:55:04Z)
• TSP: Temporally-Sensitive Pretraining of Video Encoders for Localization Tasks [79.01176229586855]
  本稿では,背景クリップとグローバルビデオ情報を考慮した時間感度向上のための教師付き事前学習パラダイムを提案する。 大規模実験により,新しい事前学習戦略で訓練した特徴を用いることで,最近の3つの課題における最先端手法の性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2020-11-23T15:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。