論文の概要: Weakly-Supervised Action Localization and Action Recognition using Global-Local Attention of 3D CNN

• arxiv url: http://arxiv.org/abs/2012.09542v1
• Date: Thu, 17 Dec 2020 12:29:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 18:10:53.685542
• Title: Weakly-Supervised Action Localization and Action Recognition using Global-Local Attention of 3D CNN
• Title（参考訳）: 3次元CNNのグローバルローカルアテンションを用いた弱改善された行動局在と行動認識
• Authors: Novanto Yudistira, Muthu Subash Kavitha, Takio Kurita
• Abstract要約: 3D Convolutional Neural Network (3D CNN)は、ビデオシーケンスなどの3Dデータの空間的および時間的情報をキャプチャします。 3D CNNの視覚的説明と分類を改善するための2つのアプローチを提案します。
• 参考スコア（独自算出の注目度）: 4.924442315857227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Convolutional Neural Network (3D CNN) captures spatial and temporal information on 3D data such as video sequences. However, due to the convolution and pooling mechanism, the information loss seems unavoidable. To improve the visual explanations and classification in 3D CNN, we propose two approaches; i) aggregate layer-wise global to local (global-local) discrete gradients using trained 3DResNext network, and ii) implement attention gating network to improve the accuracy of the action recognition. The proposed approach intends to show the usefulness of every layer termed as global-local attention in 3D CNN via visual attribution, weakly-supervised action localization, and action recognition. Firstly, the 3DResNext is trained and applied for action classification using backpropagation concerning the maximum predicted class. The gradients and activations of every layer are then up-sampled. Later, aggregation is used to produce more nuanced attention, which points out the most critical part of the predicted class's input videos. We use contour thresholding of final attention for final localization. We evaluate spatial and temporal action localization in trimmed videos using fine-grained visual explanation via 3DCam. Experimental results show that the proposed approach produces informative visual explanations and discriminative attention. Furthermore, the action recognition via attention gating on each layer produces better classification results than the baseline model.
• Abstract（参考訳）: 3D畳み込みニューラルネットワーク(3D CNN)は、ビデオシーケンスなどの3Dデータに関する空間的および時間的情報をキャプチャする。 しかし,畳み込み・プーリング機構により,情報損失は避けられないように思われる。 3d cnnの視覚的な説明と分類を改善するために,(1)学習した3dresnextネットワークを用いて,局所的(グローバル局所)離散勾配を階層的に集約し,(2)注意ゲーティングネットワークを実装し,動作認識の精度を向上させる手法を提案する。 提案手法は,3d cnnにおけるグローバル・ローカル・アテンション (global-local attention) と呼ばれる各層の有用性を示すことを目的としている。 まず、3dresnextを訓練し、最大予測クラスに関するバックプロパゲーションを用いたアクション分類に適用する。 各層の勾配と活性化はアップサンプリングされる。 その後、アグリゲーションはよりニュアンス的な注意を喚起するために使われ、予測されたクラスの入力ビデオの最も重要な部分を指し示している。 我々は最終位置決めに最終注意の輪郭閾値を用いる。 3dcamによる細粒度映像によるトリミング映像の空間的および時間的動作の定位評価を行った。 実験の結果,提案手法は視覚的な説明と識別的注意を生じさせることがわかった。 さらに,各層における注意ゲーティングによる行動認識は,ベースラインモデルよりも優れた分類結果が得られる。

関連論文リスト

• Generalized Label-Efficient 3D Scene Parsing via Hierarchical Feature Aligned Pre-Training and Region-Aware Fine-tuning [55.517000360348725]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 室内と屋外の両方で実験を行ったところ、データ効率のよい学習とオープンワールドの複数ショット学習の両方において、我々のアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• Anchor-Based Spatial-Temporal Attention Convolutional Networks for Dynamic 3D Point Cloud Sequences [20.697745449159097]
  動的3次元点雲列を処理するために,アンカー型時空間注意畳み込み演算(astaconv)を提案する。 提案する畳み込み操作は、各点の周囲に複数の仮想アンカーを設定することにより、各点の周囲にレギュラーレセプティブフィールドを構築する。 提案手法は,局所領域内の構造化情報をよりよく活用し,動的3次元点雲列から空間-時間埋め込み特徴を学習する。
  論文  参考訳（メタデータ） (2020-12-20T07:35:37Z)
• Self-supervised Video Representation Learning by Uncovering Spatio-temporal Statistics [74.6968179473212]
  本稿では,自己指導型学習問題に対処する新しい前提課題を提案する。 最大運動の空間的位置や支配的な方向など,分割的・時間的統計的な要約を連続して計算する。 ビデオフレームを入力として与えられた統計的要約を得るために、ニューラルネットワークを構築して訓練する。
  論文  参考訳（メタデータ） (2020-08-31T08:31:56Z)
• DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization [56.15308829924527]
  生の3D点から直接3次元特徴の検出と記述を共同で学習するシームズネットワークを提案する。 3次元キーポイントを検出するために,局所的な記述子の識別性を教師なしで予測する。 各種ベンチマーク実験により,本手法はグローバルポイントクラウド検索とローカルポイントクラウド登録の両面で競合する結果が得られた。
  論文  参考訳（メタデータ） (2020-07-17T20:21:22Z)
• D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features [51.04841465193678]
  私たちは3Dポイントクラウドに3D完全畳み込みネットワークを活用しています。 本稿では,3次元点ごとに検出スコアと記述特徴の両方を密に予測する,新しい,実践的な学習機構を提案する。 本手法は,屋内と屋外の両方のシナリオで最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-03-06T12:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。