論文の概要: RelaMiX: Exploring Few-Shot Adaptation in Video-based Action Recognition

• arxiv url: http://arxiv.org/abs/2305.08420v2
• Date: Sat, 28 Oct 2023 12:00:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 22:24:45.335218
• Title: RelaMiX: Exploring Few-Shot Adaptation in Video-based Action Recognition
• Title（参考訳）: RelaMiX:ビデオベースのアクション認識におけるわずかなショット適応の探索
• Authors: Kunyu Peng, Di Wen, David Schneider, Jiaming Zhang, Kailun Yang, M. Saquib Sarfraz, Rainer Stiefelhagen, Alina Roitberg
• Abstract要約: ビデオベースアクティビティ認識(FSDA-AR)のためのFew-Shot Domain Adaptation 多様なドメインタイプを考慮した5つの確立されたデータセットを用いてFSDA-ARベンチマークを構築した。 本稿では,数少ないラベル付き対象ドメインサンプルを知識ガイダンスとして活用するための新しいアプローチであるRelaMiXを提案する。
• 参考スコア（独自算出の注目度）: 48.25320196587867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain adaptation is essential for activity recognition to ensure accurate and robust performance across diverse environments, sensor types, and data sources. Unsupervised domain adaptation methods have been extensively studied, yet, they require large-scale unlabeled data from the target domain. In this work, we address Few-Shot Domain Adaptation for video-based Activity Recognition (FSDA-AR), which leverages a very small amount of labeled target videos to achieve effective adaptation. This setting is attractive and promising for applications, as it requires recording and labeling only a few, or even a single example per class in the target domain, which often includes activities that are rare yet crucial to recognize. We construct FSDA-AR benchmarks using five established datasets considering diverse domain types: UCF101, HMDB51, EPIC-KITCHEN, Sims4Action, and ToyotaSmartHome. Our results demonstrate that FSDA-AR performs comparably to unsupervised domain adaptation with significantly fewer (yet labeled) target domain samples. We further propose a novel approach, RelaMiX, to better leverage the few labeled target domain samples as knowledge guidance. RelaMiX encompasses a temporal relational attention network with relation dropout, alongside a cross-domain information alignment mechanism. Furthermore, it integrates a mechanism for mixing features within a latent space by using the few-shot target domain samples. The proposed RelaMiX solution achieves state-of-the-art performance on all datasets within the FSDA-AR benchmark. To encourage future research of few-shot domain adaptation for video-based activity recognition, our benchmarks and source code are made publicly available at https://github.com/KPeng9510/RelaMiX.
• Abstract（参考訳）: さまざまな環境、センサタイプ、データソースにまたがる正確で堅牢なパフォーマンスを保証するためには、アクティビティ認識にはドメイン適応が不可欠である。 教師なしドメイン適応法は広範囲に研究されてきたが、ターゲットドメインからの大規模なラベルなしデータが必要である。 本研究では,映像ベースアクティビティ認識(fsda-ar)のための,ごく少量のラベル付きターゲットビデオを用いて効果的な適応を実現する,少数ショットの領域適応について述べる。 この設定はアプリケーションにとって魅力的で有望なもので、少数の記録とラベル付けが必要であり、ターゲットドメイン内のクラス1つにつき1つの例さえ必要である。 UCF101, HMDB51, EPIC-KITCHEN, Sims4Action, ToyotaSmartHomeの5つのドメインタイプを考慮したFSDA-ARベンチマークを構築した。 この結果から,FSDA-ARは,対象ドメインのサンプルをはるかに少ない(ラベル付けした)非教師なし領域適応に対して比較可能な性能を示した。 さらに,少数のラベル付きドメインサンプルを知識ガイダンスとして活用するための新しいアプローチであるRelaMiXを提案する。 RelaMiXは、ドメイン間の情報アライメント機構とともに、関係降下を伴う時間的関係注意ネットワークを含んでいる。 さらに、数発のターゲットドメインサンプルを使用して、潜在空間内で機能を混合するメカニズムを統合する。 提案したRelaMiXソリューションは、FSDA-ARベンチマーク内のすべてのデータセットの最先端のパフォーマンスを実現する。 ビデオベースのアクティビティ認識のためのドメイン適応の今後の研究を促進するため、ベンチマークとソースコードはhttps://github.com/KPeng9510/RelaMiXで公開されています。

関連論文リスト

• Revisiting the Domain Shift and Sample Uncertainty in Multi-source Active Domain Transfer [69.82229895838577]
  Active Domain Adaptation (ADA)は、アノテートするターゲットデータの限られた数を選択することで、新しいターゲットドメインにおけるモデル適応を最大限に向上することを目的としている。 この設定は、複数のソースからトレーニングデータを収集するより実践的なシナリオを無視します。 これは、ADAを単一のソースドメインから複数のソースドメインに拡張する、新しい、挑戦的な知識転送の設定を目標にしています。
  論文  参考訳（メタデータ） (2023-11-21T13:12:21Z)
• ADeADA: Adaptive Density-aware Active Domain Adaptation for Semantic Segmentation [23.813813896293876]
  セマンティックセグメンテーションのための一般的なアクティブドメイン適応フレームワークであるADeADAについて述べる。 対象とするドメインアノテーションが5%未満の場合、我々のメソッドは完全な監視の方法と同等の結果に到達します。
  論文  参考訳（メタデータ） (2022-02-14T05:17:38Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Discriminative Cross-Domain Feature Learning for Partial Domain Adaptation [70.45936509510528]
  部分的なドメイン適応は、より大きく多様なソースドメインからの知識を、より少ないクラス数でより小さなターゲットドメインに適応させることを目的としています。 ドメイン適応の最近の実践は、ターゲットドメインの擬似ラベルを組み込むことで、効果的な特徴を抽出する。 ターゲットデータを少数のソースデータのみにアライメントすることが不可欠である。
  論文  参考訳（メタデータ） (2020-08-26T03:18:53Z)
• Mind the Gap: Enlarging the Domain Gap in Open Set Domain Adaptation [65.38975706997088]
  オープンセットドメイン適応(OSDA)は、ターゲットドメインに未知のクラスが存在することを前提としている。 既存の最先端手法は、より大きなドメインギャップが存在する場合、かなりの性能低下を被ることを示す。 我々は、より大きなドメインギャップに特に対処するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-08T14:20:24Z)
• Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
  ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。 本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-04T23:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。