論文の概要: An Effective End-to-End Solution for Multimodal Action Recognition

• arxiv url: http://arxiv.org/abs/2506.09345v1
• Date: Wed, 11 Jun 2025 02:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.252311
• Title: An Effective End-to-End Solution for Multimodal Action Recognition
• Title（参考訳）: マルチモーダル動作認識のための効率的なエンド・ツー・エンドソリューション
• Authors: Songping Wang, Xiantao Hu, Yueming Lyu, Caifeng Shan,
• Abstract要約: 我々は,マルチモーダル情報を効果的に活用する包括的マルチモーダル行動認識ソリューションを提案する。 トップ1の精度は99%,トップ5の精度は100%で,ソリューションの優位性を実証した。
• 参考スコア（独自算出の注目度）: 13.615924349022247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, multimodal tasks have strongly advanced the field of action recognition with their rich multimodal information. However, due to the scarcity of tri-modal data, research on tri-modal action recognition tasks faces many challenges. To this end, we have proposed a comprehensive multimodal action recognition solution that effectively utilizes multimodal information. First, the existing data are transformed and expanded by optimizing data enhancement techniques to enlarge the training scale. At the same time, more RGB datasets are used to pre-train the backbone network, which is better adapted to the new task by means of transfer learning. Secondly, multimodal spatial features are extracted with the help of 2D CNNs and combined with the Temporal Shift Module (TSM) to achieve multimodal spatial-temporal feature extraction comparable to 3D CNNs and improve the computational efficiency. In addition, common prediction enhancement methods, such as Stochastic Weight Averaging (SWA), Ensemble and Test-Time augmentation (TTA), are used to integrate the knowledge of models from different training periods of the same architecture and different architectures, so as to predict the actions from different perspectives and fully exploit the target information. Ultimately, we achieved the Top-1 accuracy of 99% and the Top-5 accuracy of 100% on the competition leaderboard, demonstrating the superiority of our solution.
• Abstract（参考訳）: 近年、マルチモーダルタスクは、リッチなマルチモーダル情報を用いて、アクション認識の分野を強く進歩させてきた。 しかし、トリモーダルデータの不足により、トリモーダル行動認識タスクの研究は多くの課題に直面している。 そこで本稿では,マルチモーダル情報を効果的に活用する総合的マルチモーダル行動認識ソリューションを提案する。 まず、トレーニングスケールを拡大するためにデータ拡張テクニックを最適化することにより、既存のデータを変換して拡張する。 同時に、バックボーンネットワークの事前トレーニングには、より多くのRGBデータセットが使用されている。 次に、2次元CNNの助けを借りてマルチモーダル空間特徴を抽出し、テンポラルシフトモジュール(TSM)と組み合わせて3次元CNNに匹敵するマルチモーダル時空間特徴抽出を実現し、計算効率を向上させる。 さらに、SWA(Stochastic Weight Averaging)やEnsemble and Test-Time Augmentation(TTA)といった一般的な予測強化手法を使用して、同じアーキテクチャと異なるアーキテクチャの異なるトレーニング期間からモデルの知識を統合し、異なる視点からアクションを予測し、ターゲット情報を完全に活用する。 最終的に、トップ1の精度は99%、トップ5の精度は100%の競争リーダーボードで達成し、ソリューションの優位性を実証しました。

関連論文リスト

• Action Recognition Using Temporal Shift Module and Ensemble Learning [0.0]
  本稿では,aclICPR 2024におけるマルチモーダル視覚パターン認識ワークショップの一環として,マルチモーダル行動認識チャレンジ(Multi-Modal Action Recognition Challenge)のファーストランクソリューションを提案する。 このコンペティションは、マルチモーダルソースから収集された20のアクションクラスの多様なデータセットを使用して、人間の行動を認識することを目的としている。 提案手法は,20クラスにまたがる人的行動の認識において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-01-29T10:36:55Z)
• LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [52.83707400688378]
  LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。 我々のフレームワークは、VFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出し、LiDAR点雲に整列して高品質なコントラストサンプルを生成する。 提案手法は,LDARに基づくセグメント化とオブジェクト検出の両面において,線形探索と微調整の両作業において,最先端の手法よりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2025-01-07T18:59:59Z)
• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [73.49799596304418]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• VideoAdviser: Video Knowledge Distillation for Multimodal Transfer Learning [6.379202839994046]
  マルチモーダル変換学習は、様々なモーダルの事前訓練された表現を、効果的なマルチモーダル融合のための共通の領域空間に変換することを目的としている。 本稿では,マルチモーダル基本モデルから特定のモーダル基本モデルへ,マルチモーダルなプロンプトのマルチモーダルな知識を伝達するためのビデオ知識蒸留手法であるVideoAdviserを提案する。 本手法は,映像レベルの感情分析と音声視覚検索の2つの課題において評価する。
  論文  参考訳（メタデータ） (2023-09-27T08:44:04Z)
• FULLER: Unified Multi-modality Multi-task 3D Perception via Multi-level Gradient Calibration [89.4165092674947]
  マルチモダリティ融合とマルチタスク学習は、3D自動運転シナリオにおいてトレンドになりつつある。 先行研究は、学習フレームワークを経験的な知識で手作業で調整し、それがサブオプティマに繋がる可能性がある。 そこで本稿では,最適化中のタスクやモダリティにまたがる,シンプルなマルチレベル勾配校正学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-31T12:50:15Z)
• Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity Recognition [34.424960016807795]
  マルチモーダルなヒューマンアクティビティ認識は、補完的な情報を利用して、うまく一般化できるモデルを構築することができる。 深層学習法は有望な結果を示しており,有意な多モーダルな時空間特徴抽出の可能性は十分に検討されていない。 知識蒸留に基づくマルチモーダル・ミッドフュージョン・アプローチ(DMFT)を提案し,多モーダル・ヒューマンアクティビティ認識タスクを効率的に解決するために,情報的特徴抽出と融合を行う。
  論文  参考訳（メタデータ） (2023-05-05T19:26:06Z)
• Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
  動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。 本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。 本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-09-26T01:30:43Z)
• Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
  RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。 結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。