論文の概要: LEViL: Label-Efficient Video Learning via Zero-Shot Distillation over VLM-Generated Pseudo-Label Spaces
- arxiv url: http://arxiv.org/abs/2606.21358v1
- Date: Fri, 19 Jun 2026 12:01:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 14:06:28.386832
- Title: LEViL: Label-Efficient Video Learning via Zero-Shot Distillation over VLM-Generated Pseudo-Label Spaces
- Title（参考訳）: LEViL:VLM生成擬似ラベル空間上でのゼロショット蒸留によるラベル効率の高いビデオ学習
- Authors: Aslı Çelik,
- Abstract要約: 監視ビデオ事前訓練は、下流行動認識性能を改善するための共通の伝達学習の実践である。
本研究では,アノテーションなしビデオ事前学習と目標ラベルセット対応微調整を組み合わせたラベル効率のよいビデオ学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised video pretraining is a common transfer learning practice for improving downstream action recognition performance. However, it requires large-scale labeled source datasets, and the effectiveness of the learned initialization is influenced by the similarity between the source and target domains. Constructing such labeled pretraining datasets for different target domains is costly and difficult to scale. To address these limitations, this study proposes a label-efficient video learning framework that combines annotation-free video pretraining with target-label-set-aware fine-tuning. During pretraining, a vision-language model (VLM) generates textual descriptions of unlabeled videos, which are processed to construct an interpretable semantic pseudo-label space. A frozen video-language model then produces zero-shot soft target distributions over this space, allowing a student video encoder to learn semantically rich representations without manual source annotations. During downstream adaptation, target-label-set-aware fine-tuning combines supervised learning from labeled target videos with zero-shot distillation over the actual target label set, helping preserve VLM-derived semantic guidance while adapting the pretrained encoder to the target task. Experiments on UCF101 and HMDB51 show that the proposed framework outperforms the compared semi-supervised video action recognition methods across all evaluated limited-label regimes. Moreover, the annotation-free pretraining stage learns transferable representations that provide an effective initialization for full-data fine-tuning, despite relying on a comparatively modest unlabeled pretraining pool.
- Abstract（参考訳）: 監視ビデオ事前訓練は、下流行動認識性能を改善するための共通の伝達学習の実践である。
しかし、大規模なラベル付きソースデータセットが必要であり、学習した初期化の有効性は、ソースとターゲットドメインの類似性に影響される。
このようなラベル付き事前トレーニングデータセットを異なるターゲットドメインで構築することは、コストがかかり、スケールが難しい。
これらの制約に対処するために,アノテーションなしビデオ事前学習と目標ラベルセット対応微調整を組み合わせたラベル効率のよいビデオ学習フレームワークを提案する。
事前学習中、視覚言語モデル(VLM)は、解釈可能な意味的擬似ラベル空間を構築するために処理される未ラベルビデオのテキスト記述を生成する。
凍結されたビデオ言語モデルは、この空間上でゼロショットのソフトターゲット分布を生成し、学生のビデオエンコーダは、手動のソースアノテーションなしで意味的にリッチな表現を学習することができる。
下流適応では、ラベル付き動画からの教師付き学習と実際のターゲットラベルセット上のゼロショット蒸留を組み合わせ、予め訓練されたエンコーダを目標タスクに適応させながら、VLM固有のセマンティックガイダンスの保存を支援する。
UCF101とHMDB51の実験により、提案フレームワークは、評価された全てのリミテッドレーベル体制において、比較された半教師付きビデオ行動認識法より優れていることが示された。
さらに、アノテーションのない事前学習段階は、比較的控えめな未ラベル事前学習プールに依存するにもかかわらず、フルデータの微調整に有効な初期化を提供する転送可能な表現を学習する。
関連論文リスト
- Context-Aware Pseudo-Label Scoring for Zero-Shot Video Summarization [6.057968525653529]
本稿では,ルーリック誘導型,擬似ラベル付き,即時駆動型ゼロショットビデオ要約フレームワークを提案する。
人間のアノテーションの小さなサブセットは、高信頼の擬似ラベルに変換される。
推論中、境界シーンはそれぞれの記述に基づいて独立してスコアされる。
論文 参考訳（メタデータ） (2025-10-20T12:54:32Z) - Bridging Weakly-Supervised Learning and VLM Distillation: Noisy Partial Label Learning for Efficient Downstream Adaptation [51.67328507400985]
ノイズ部分ラベル学習(NPLL)では、各トレーニングサンプルは、複数のノイズアノテータによって注釈付けされた候補ラベルのセットに関連付けられている。
本稿では、事前学習された視覚言語モデルによって注釈付けされた部分ラベルからの学習に焦点を当てる。
革新的な協調整合正則化(Co-Reg)法を提案する。
論文 参考訳（メタデータ） (2025-06-03T12:48:54Z) - Text Prompt with Normality Guidance for Weakly Supervised Video Anomaly Detection [10.269746485037935]
本稿では,WSVAD の正規性ガイダンス付き Text Prompt に基づく新しい擬似ラベル生成と自己学習フレームワークを提案する。
提案手法は,UCF-CrimeとXD-Violeの2つのベンチマークデータセットに対して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-04-12T15:18:25Z) - CDFSL-V: Cross-Domain Few-Shot Learning for Videos [58.37446811360741]
ビデオのアクション認識は、いくつかのラベル付き例でのみ、新しいカテゴリを認識するための効果的なアプローチである。
既存のビデオアクション認識の方法は、同じドメインからの大きなラベル付きデータセットに依存している。
本稿では,自己教師付き学習とカリキュラム学習を活用した,クロスドメインな数ショットビデオ行動認識手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T19:44:27Z) - Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。
このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
論文 参考訳（メタデータ） (2023-08-15T17:58:11Z) - Simplifying Open-Set Video Domain Adaptation with Contrastive Learning [16.72734794723157]
ラベル付きデータセットから非ラベル付きデータセットに予測モデルを適用するために、教師なしのビデオドメイン適応手法が提案されている。
我々は、OUVDA(Open-set Video Domain adapt)と呼ばれるより現実的なシナリオに対処し、ターゲットデータセットはソースと共有されていない"未知"セマンティックカテゴリを含む。
本稿では,ビデオデータ中の時間情報を自由に利用することで,特徴空間をよりよくクラスタ化できるビデオ指向の時間的コントラスト損失を提案する。
論文 参考訳（メタデータ） (2023-01-09T13:16:50Z) - Domain Adaptive Video Segmentation via Temporal Pseudo Supervision [46.38660541271893]
ビデオセマンティックセグメンテーションは、ラベル付きソースドメインから未ラベルのターゲットドメインに適応することで、制約をラベル付けするデータを緩和することができる。
我々は,対象映像から表現を効果的に表現するための一貫性トレーニングのアイデアを探索する,シンプルかつ効果的な方法である時間的擬似監督(TPS)を設計する。
TPSは実装が簡単で、訓練も安定しており、最先端技術と比較して優れた映像精度を実現する。
論文 参考訳（メタデータ） (2022-07-06T00:36:14Z) - Prefix Conditioning Unifies Language and Label Supervision [84.11127588805138]
学習した表現の一般化性を低減することにより,データセットのバイアスが事前学習に悪影響を及ぼすことを示す。
実験では、この単純な手法により、ゼロショット画像認識精度が向上し、画像レベルの分布シフトに対するロバスト性が向上することを示した。
論文 参考訳（メタデータ） (2022-06-02T16:12:26Z) - CUPID: Adaptive Curation of Pre-training Data for Video-and-Language
Representation Learning [49.18591896085498]
ソースデータとターゲットデータのドメインギャップを埋めるCUPIDを提案します。
CUPIDは、複数のビデオ言語およびビデオタスクにまたがる最新のパフォーマンスを提供します。
論文 参考訳（メタデータ） (2021-04-01T06:42:16Z) - Learning from Weakly-labeled Web Videos via Exploring Sub-Concepts [89.06560404218028]
検索ウェブビデオを用いたビデオ行動認識モデルの事前学習手法を提案する。
フィルタアウトする代わりに、これらのクエリービデオの潜在的なノイズを有用な監視信号に変換することを提案します。
SPLは擬似ラベルを用いた既存の事前学習戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-01-11T05:50:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。