論文の概要: CDFSL-V: Cross-Domain Few-Shot Learning for Videos
- arxiv url: http://arxiv.org/abs/2309.03989v2
- Date: Fri, 15 Sep 2023 17:24:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 17:37:20.504536
- Title: CDFSL-V: Cross-Domain Few-Shot Learning for Videos
- Title(参考訳): CDFSL-V:ビデオ用クロスドメインFew-Shot学習
- Authors: Sarinda Samarasinghe, Mamshad Nayeem Rizve, Navid Kardan, Mubarak Shah
- Abstract要約: ビデオのアクション認識は、いくつかのラベル付き例でのみ、新しいカテゴリを認識するための効果的なアプローチである。
既存のビデオアクション認識の方法は、同じドメインからの大きなラベル付きデータセットに依存している。
本稿では,自己教師付き学習とカリキュラム学習を活用した,クロスドメインな数ショットビデオ行動認識手法を提案する。
- 参考スコア(独自算出の注目度): 58.37446811360741
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Few-shot video action recognition is an effective approach to recognizing new
categories with only a few labeled examples, thereby reducing the challenges
associated with collecting and annotating large-scale video datasets. Existing
methods in video action recognition rely on large labeled datasets from the
same domain. However, this setup is not realistic as novel categories may come
from different data domains that may have different spatial and temporal
characteristics. This dissimilarity between the source and target domains can
pose a significant challenge, rendering traditional few-shot action recognition
techniques ineffective. To address this issue, in this work, we propose a novel
cross-domain few-shot video action recognition method that leverages
self-supervised learning and curriculum learning to balance the information
from the source and target domains. To be particular, our method employs a
masked autoencoder-based self-supervised training objective to learn from both
source and target data in a self-supervised manner. Then a progressive
curriculum balances learning the discriminative information from the source
dataset with the generic information learned from the target domain. Initially,
our curriculum utilizes supervised learning to learn class discriminative
features from the source data. As the training progresses, we transition to
learning target-domain-specific features. We propose a progressive curriculum
to encourage the emergence of rich features in the target domain based on class
discriminative supervised features in the source domain. We evaluate our method
on several challenging benchmark datasets and demonstrate that our approach
outperforms existing cross-domain few-shot learning techniques. Our code is
available at https://github.com/Sarinda251/CDFSL-V
- Abstract(参考訳): 少数のラベル付きサンプルしか持たない新しいカテゴリを識別するには、少数のビデオアクション認識が有効なアプローチであり、大規模なビデオデータセットの収集と注釈付けに関する課題を軽減している。
既存のビデオアクション認識の方法は、同じドメインからの大きなラベル付きデータセットに依存する。
しかし、この設定は、異なる空間的・時間的特性を持つ異なるデータ領域から新しいカテゴリが生まれる可能性があるため、現実的ではない。
このソースドメインとターゲットドメインの相違は大きな課題となり、従来の少数ショットのアクション認識技術では効果がない。
この問題に対処するため,本研究では,自己教師付き学習とカリキュラム学習を活用し,ソース領域とターゲット領域の情報のバランスをとるクロスドメイン・ビデオ・アクション認識手法を提案する。
具体的には,マスク付きオートエンコーダに基づく自己教師付き学習目標を用いて,ソースデータとターゲットデータの両方から自己教師付きで学習する。
そして、プログレッシブカリキュラムは、ソースデータセットから識別情報とターゲットドメインから学習した汎用情報とのバランスをとる。
まず,教師付き学習を用いてソースデータからクラス識別特徴を学習する。
トレーニングが進むにつれて、ターゲットドメイン固有の特徴の学習に移行する。
我々は,ソースドメインのクラス識別的教師付き特徴に基づいて,対象ドメインにおけるリッチな特徴の出現を促すプログレッシブカリキュラムを提案する。
提案手法をいくつかの挑戦的なベンチマークデータセットで評価し,既存のドメイン間数ショット学習技術より優れていることを示す。
私たちのコードはhttps://github.com/Sarinda251/CDFSL-Vで利用可能です。
関連論文リスト
- Phrase Grounding-based Style Transfer for Single-Domain Generalized
Object Detection [109.58348694132091]
単一ドメインの一般化オブジェクト検出は、複数の未確認対象ドメインに対するモデルの一般化性を高めることを目的としている。
これは、ターゲットのドメインデータをトレーニングに組み込むことなく、ドメインシフトに対処するモデルを必要とするため、実用的だが難しいタスクである。
そこで我々は,課題に対する新しい文節接頭辞に基づくスタイル伝達手法を提案する。
論文 参考訳(メタデータ) (2024-02-02T10:48:43Z) - Pulling Target to Source: A New Perspective on Domain Adaptive Semantic Segmentation [80.1412989006262]
ドメイン適応セマンティックセグメンテーションは、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することを目的としています。
我々はT2S-DAを提案し、T2S-DAはドメイン適応のためのソースにターゲットを引っ張る形式として解釈する。
論文 参考訳(メタデータ) (2023-05-23T07:09:09Z) - Simplifying Open-Set Video Domain Adaptation with Contrastive Learning [16.72734794723157]
ラベル付きデータセットから非ラベル付きデータセットに予測モデルを適用するために、教師なしのビデオドメイン適応手法が提案されている。
我々は、OUVDA(Open-set Video Domain adapt)と呼ばれるより現実的なシナリオに対処し、ターゲットデータセットはソースと共有されていない"未知"セマンティックカテゴリを含む。
本稿では,ビデオデータ中の時間情報を自由に利用することで,特徴空間をよりよくクラスタ化できるビデオ指向の時間的コントラスト損失を提案する。
論文 参考訳(メタデータ) (2023-01-09T13:16:50Z) - Few-Shot Object Detection in Unseen Domains [4.36080478413575]
Few-shot Object Detection (FSOD)は、データ制限のある新しいオブジェクトクラスを学ぶために近年発展している。
そこで本稿では,ドメイン固有の情報をすべて考慮し,新しいクラスを数枚追加する手法を提案する。
T-LESSデータセットを用いた実験により,提案手法はドメインギャップを著しく緩和することに成功した。
論文 参考訳(メタデータ) (2022-04-11T13:16:41Z) - Few-Shot Classification in Unseen Domains by Episodic Meta-Learning
Across Visual Domains [36.98387822136687]
興味のあるカテゴリのラベル付き例がほとんどないため、いくつかのショット分類は、分類を実行することを目的としている。
本稿では,ドメイン一般化型少ショット分類のための一意学習フレームワークを提案する。
メタ学習戦略を進めることで、学習フレームワークは複数のソースドメインにまたがるデータを利用して、ドメイン不変の機能をキャプチャします。
論文 参考訳(メタデータ) (2021-12-27T06:54:11Z) - Domain Adaptive Semantic Segmentation without Source Data [50.18389578589789]
モデルがソースドメイン上で事前学習されていることを前提として、ソースデータのないドメイン適応セマンティックセマンティックセマンティックセマンティクスについて検討する。
本稿では,この課題に対して,肯定的学習と否定的学習という2つの要素を用いた効果的な枠組みを提案する。
私たちのフレームワークは、パフォーマンスをさらに向上するために、他のメソッドに簡単に実装および組み込むことができます。
論文 参考訳(メタデータ) (2021-10-13T04:12:27Z) - Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining
and Consistency [93.89773386634717]
ビジュアルドメイン適応は、異なるソースドメインで利用可能なラベルを使用して、ターゲットのビジュアルドメインからイメージを分類する学習を含む。
いくつかの目標ラベルが存在する場合、(回転予測による)自己スーパービジョンや整合正則化といった単純な手法が、適切な目標分類器を学習するための対角アライメントなしで有効であることを示す。
我々の事前学習と一貫性(PAC)アプローチは、この半教師付きドメイン適応タスクにおいて、複数のデータセットにまたがる複数の対向的なドメインアライメント手法を超越して、技術精度を達成することができる。
論文 参考訳(メタデータ) (2021-01-29T18:40:17Z) - Domain Generalized Person Re-Identification via Cross-Domain Episodic
Learning [31.17248105464821]
本稿では、メタ学習戦略を進化させ、観測されたソースドメインラベル付きデータを活用するためのエピソード学習手法を提案する。
4つのベンチマークデータセットに対する実験により,最先端技術よりも提案手法の優位性が確認された。
論文 参考訳(メタデータ) (2020-10-19T14:42:29Z) - A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。
多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。
限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
論文 参考訳(メタデータ) (2020-09-01T00:06:50Z) - Learning to Cluster under Domain Shift [20.00056591000625]
本研究では、ソースデータとターゲットデータの両方にアノテーションがない場合に、ソースからターゲットドメインに知識を転送する問題に対処する。
ディープクラスタリングに関する最近の研究から着想を得た私たちのアプローチは、複数のソースドメインから収集されたデータからの情報を活用する。
本手法は,少数のサンプルが存在する場合でも,関連する意味情報を自動的に発見できることを示す。
論文 参考訳(メタデータ) (2020-08-11T12:03:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。