論文の概要: Action Selection Learning for Multi-label Multi-view Action Recognition
- arxiv url: http://arxiv.org/abs/2410.03302v2
- Date: Fri, 18 Oct 2024 00:46:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 23:08:51.595269
- Title: Action Selection Learning for Multi-label Multi-view Action Recognition
- Title（参考訳）: マルチラベル多視点行動認識のための行動選択学習
- Authors: Trung Thanh Nguyen, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide,
- Abstract要約: 本研究は,映像レベルのラベルが弱い広帯域領域を撮影するために,カメラを分散した実世界のシナリオに焦点を当てた。
本稿では,多視点行動選択学習(Multi-view Action Selection Learning,Multi-view Action Selection Learning)という手法を提案する。
MM-Officeデータセットを用いた実世界のオフィス環境における実験は,既存手法と比較して提案手法の優れた性能を示す。
- 参考スコア（独自算出の注目度）: 2.8266810371534152
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multi-label multi-view action recognition aims to recognize multiple concurrent or sequential actions from untrimmed videos captured by multiple cameras. Existing work has focused on multi-view action recognition in a narrow area with strong labels available, where the onset and offset of each action are labeled at the frame-level. This study focuses on real-world scenarios where cameras are distributed to capture a wide-range area with only weak labels available at the video-level. We propose the method named MultiASL (Multi-view Action Selection Learning), which leverages action selection learning to enhance view fusion by selecting the most useful information from different viewpoints. The proposed method includes a Multi-view Spatial-Temporal Transformer video encoder to extract spatial and temporal features from multi-viewpoint videos. Action Selection Learning is employed at the frame-level, using pseudo ground-truth obtained from weak labels at the video-level, to identify the most relevant frames for action recognition. Experiments in a real-world office environment using the MM-Office dataset demonstrate the superior performance of the proposed method compared to existing methods.
- Abstract（参考訳）: マルチラベル・マルチビュー・アクション認識は、複数のカメラが捉えた非トリミングビデオから複数の同時またはシーケンシャルなアクションを認識することを目的としている。
既存の作業は、フレームレベルで各アクションのオンセットとオフセットがラベル付けされる、強力なラベルを持つ狭い領域におけるマルチビューアクション認識に焦点を当てている。
本研究は,映像レベルのラベルが弱い広帯域領域を撮影するために,カメラを分散した実世界のシナリオに焦点を当てた。
本稿では,多視点行動選択学習(Multi-view Action Selection Learning,Multi-view Action Selection Learning)という手法を提案する。
提案手法は,多視点映像から空間的特徴と時間的特徴を抽出する多視点空間変換器ビデオエンコーダを含む。
アクション選択学習は、ビデオレベルにおいて弱いラベルから得られた擬似基底構造を用いて、フレームレベルで採用され、アクション認識の最も関連性の高いフレームを特定する。
MM-Officeデータセットを用いた実世界のオフィス環境における実験は,既存手法と比較して提案手法の優れた性能を示す。
関連論文リスト
- Matching Anything by Segmenting Anything [109.2507425045143]
我々は、堅牢なインスタンスアソシエーション学習のための新しい手法であるMASAを提案する。
MASAは、徹底的なデータ変換を通じてインスタンスレベルの対応を学習する。
完全アノテートされたドメイン内ビデオシーケンスでトレーニングした最先端の手法よりも,MASAの方が優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2024-06-06T16:20:07Z) - Hypergraph-based Multi-View Action Recognition using Event Cameras [20.965606424362726]
マルチビューイベントベースのアクション認識フレームワークであるHyperMVを紹介する。
我々は6つの視点から50のアクションからなる、最も大きなマルチビューイベントベースのアクションデータセットである$textTHUtextMV-EACTtext-50$を提示する。
実験の結果,HyperMVはクロスオブジェクトとクロスビューの両方のシナリオにおいて,ベースラインを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2024-03-28T11:17:00Z) - VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。
データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。
機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
論文 参考訳（メタデータ） (2023-12-04T19:48:02Z) - CML-MOTS: Collaborative Multi-task Learning for Multi-Object Tracking
and Segmentation [31.167405688707575]
ビデオフレーム上でのインスタンスレベルの視覚分析のためのフレームワークを提案する。
オブジェクト検出、インスタンスセグメンテーション、マルチオブジェクトトラッキングを同時に行うことができる。
提案手法は, KITTI MOTS と MOTS Challenge のデータセットを用いて広範に評価する。
論文 参考訳（メタデータ） (2023-11-02T04:32:24Z) - RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。
提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。
我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
論文 参考訳（メタデータ） (2023-07-03T13:21:58Z) - PointTAD: Multi-Label Temporal Action Detection with Learnable Query
Points [28.607690605262878]
時間的アクション検出(TAD)は通常、単一のラベルから少数のアクションインスタンスを持つ未トリミングビデオを処理する。
本稿では,マルチラベル・アントリム映像からすべてのアクション・インスタンスをローカライズすることを目的とした,マルチラベル・テンポラル・アクション検出の課題に焦点をあてる。
本稿では,従来のTADからスパースクエリに基づく検出パラダイムを拡張し,PointTADのマルチラベルTADフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-20T06:08:03Z) - BoxMask: Revisiting Bounding Box Supervision for Video Object Detection [11.255962936937744]
そこで,BoxMaskを提案する。このBoxMaskは,クラス対応の画素レベルの情報を取り入れることで,識別表現を学習する。
提案されたモジュールは、検出を促進するため、任意の領域ベースの検出器に懸命に統合することができる。
論文 参考訳（メタデータ） (2022-10-12T08:25:27Z) - Tag-Based Attention Guided Bottom-Up Approach for Video Instance
Segmentation [83.13610762450703]
ビデオインスタンスは、ビデオシーケンス全体にわたるオブジェクトインスタンスのセグメンテーションと追跡を扱う、基本的なコンピュータビジョンタスクである。
そこで本研究では,従来の領域プロモーター方式ではなく,画素レベルの粒度でインスタンスマスク予測を実現するための,単純なエンドツーエンドのボトムアップ方式を提案する。
提案手法は,YouTube-VIS と DAVIS-19 のデータセット上での競合結果を提供する。
論文 参考訳（メタデータ） (2022-04-22T15:32:46Z) - MIST: Multiple Instance Self-Training Framework for Video Anomaly
Detection [76.80153360498797]
タスク固有の識別表現を効率的に洗練するためのマルチインスタンス自己学習フレームワーク(MIST)を開発した。
mistは1)スパース連続サンプリング戦略を適用し,より信頼性の高いクリップレベル擬似ラベルを生成するマルチインスタンス擬似ラベル生成器,2)自己誘導型注意強調特徴エンコーダで構成される。
本手法は,上海技術におけるフレームレベルのAUC 94.83%の取得において,既存の教師付きおよび弱教師付き手法と同等あるいはそれ以上に機能する。
論文 参考訳（メタデータ） (2021-04-04T15:47:14Z) - Semi-Supervised Action Recognition with Temporal Contrastive Learning [50.08957096801457]
2つの異なる速度でラベル付きビデオを用いて2経路の時間的コントラストモデルを学習する。
我々は最先端の半教師付き画像認識手法の映像拡張性能を著しく向上させた。
論文 参考訳（メタデータ） (2021-02-04T17:28:35Z) - Frame Aggregation and Multi-Modal Fusion Framework for Video-Based
Person Recognition [13.875674649636874]
ビデオに基づく人物認識のためのフレームアグリゲーションとマルチモーダルフュージョン(FAMF)フレームワークを提案する。
FAMFは顔の特徴を集約し、ビデオ内の人物を特定するためのマルチモーダル情報を組み込む。
本稿では,NetVLADにアテンション機構を導入することで,低品質フレームの影響を効果的に低減できることを示す。
論文 参考訳（メタデータ） (2020-10-19T08:06:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。