論文の概要: Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2109.12946v1
• Date: Mon, 27 Sep 2021 10:52:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:25:27.612733
• Title: Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
• Title（参考訳）: Fusion-GCN:グラフ畳み込みネットワークを用いたマルチモーダル動作認識
• Authors: Michael Duhme, Raphael Memmesheimer, Dietrich Paulus
• Abstract要約: Fusion-GCNは、グラフ畳み込みネットワーク(GCN)を用いたマルチモーダル動作認識のためのアプローチ 我々は,マルチモーダル動作認識のためのGCNモデルを用いて訓練されたグラフに,センサデータモダリティを統合する。
• 参考スコア（独自算出の注目度）: 0.5801044612920815
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we present Fusion-GCN, an approach for multimodal action recognition using Graph Convolutional Networks (GCNs). Action recognition methods based around GCNs recently yielded state-of-the-art performance for skeleton-based action recognition. With Fusion-GCN, we propose to integrate various sensor data modalities into a graph that is trained using a GCN model for multi-modal action recognition. Additional sensor measurements are incorporated into the graph representation, either on a channel dimension (introducing additional node attributes) or spatial dimension (introducing new nodes). Fusion-GCN was evaluated on two public available datasets, the UTD-MHAD- and MMACT datasets, and demonstrates flexible fusion of RGB sequences, inertial measurements and skeleton sequences. Our approach gets comparable results on the UTD-MHAD dataset and improves the baseline on the large-scale MMACT dataset by a significant margin of up to 12.37% (F1-Measure) with the fusion of skeleton estimates and accelerometer measurements.
• Abstract（参考訳）: 本稿では,グラフ畳み込みネットワーク(GCN)を用いたマルチモーダル動作認識手法であるFusion-GCNを提案する。 gcnsに基づく行動認識手法は,最近,スケルトンベース行動認識の最先端性能を得た。 Fusion-GCNでは,マルチモーダル動作認識のためのGCNモデルを用いて訓練したグラフに,様々なセンサデータモダリティを統合することを提案する。 追加のセンサ計測は、チャネル次元(追加ノード属性を入力)または空間次元(新しいノードを入力)のグラフ表現に組み込まれている。 Fusion-GCNは、UTD-MHAD-とMMACTデータセットの2つの公開データセットで評価され、RGBシーケンス、慣性測定、骨格配列の柔軟な融合を示す。 我々のアプローチはUTD-MHADデータセットで同等の結果を得、大規模なMMACTデータセットのベースラインを最大12.37%(F1-Measure)で改善し、骨格推定と加速度計の測定を融合させる。

関連論文リスト

• MK-SGN: A Spiking Graph Convolutional Network with Multimodal Fusion and Knowledge Distillation for Skeleton-based Action Recognition [0.6442618560991484]
  本稿では,MK-SGN(Multimodal Fusion and Knowledge Distillation)を用いたスポーキンググラフ畳み込みネットワークを提案する。 提案手法は、スパイキングニューラルネットワーク(SNN)のエネルギー効率とGCNのグラフ表現能力とを融合することにより、認識精度を維持しながらエネルギー消費量を削減する。
  論文  参考訳（メタデータ） (2024-04-16T01:41:22Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Interweaved Graph and Attention Network for 3D Human Pose Estimation [15.699524854176644]
  IGANet(Interweaved Graph and Attention Network)を提案する。 IGANetは、グラフ畳み込みネットワーク(GCN)とアテンション間の双方向通信を可能にする。 我々はIGAモジュールを導入し、GCNのローカル情報とGCNのグローバル情報とをアテンションから注入する。
  論文  参考訳（メタデータ） (2023-04-27T09:21:15Z)
• Pose-Guided Graph Convolutional Networks for Skeleton-Based Action Recognition [32.07659338674024]
  グラフ畳み込みネットワーク(GCN)は、人体骨格を空間的および時間的グラフとしてモデル化することができる。 本研究では,高性能な人行動認識のためのマルチモーダルフレームワークとして,ポーズ誘導型GCN(PG-GCN)を提案する。 このモジュールの中核となる考え方は、トレーニング可能なグラフを使用して、スケルトンストリームから、ポーズストリームの機能を集約することで、より堅牢な機能表現能力を持つネットワークを実現することだ。
  論文  参考訳（メタデータ） (2022-10-10T02:08:49Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• PR-GCN: A Deep Graph Convolutional Network with Point Refinement for 6D Pose Estimation [24.06845422193827]
  RGB-Dベースの6Dポーズ推定は、最近顕著な進歩を遂げたが、それでも2つの大きな制限に悩まされている。 本稿では,ポイントリファインメント付きグラフ畳み込みネットワーク(PR-GCN)という新しい深層学習手法を提案する。 まず3Dポイント・クラウドを磨き、ノイズを除去した部品を回収するためにポイント・リファインメント・ネットワーク(PRN)を導入した。 その後、Multi-Modal Fusion Graph Convolutional Network (MMF-GCN) が提示され、RGB-Dの組み合わせが強化される。
  論文  参考訳（メタデータ） (2021-08-23T03:53:34Z)
• Graph Convolutional Embeddings for Recommender Systems [67.5973695167534]
  本研究では,N-Partiteグラフのユーザ-item-contextインタラクションを処理するグラフ畳み込み層を提案する。 より具体的には、ユーザ-item-contextインタラクションを処理するN-partiteグラフのグラフ畳み込み層を定義する。
  論文  参考訳（メタデータ） (2021-03-05T10:46:16Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition [97.14064057840089]
  グラフネットワーク(GCN)はユークリッド以外のデータ構造をモデル化するのに非常に成功した。 ほとんどのGCNベースのアクション認識手法は、計算量の多いディープフィードフォワードネットワークを使用して、全てのスケルトンをアクションで処理する。 本稿では,骨格に基づく行動認識の効率を高めるための時間的アテンションモジュール(TAM)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T08:01:55Z)
• Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action Recognition [57.98278794950759]
  グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。 本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。 提案手法を,現在最大規模の2つの3次元データセット上で評価する。
  論文  参考訳（メタデータ） (2020-07-30T18:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。