論文の概要: Multi-Modal Graph Convolutional Network with Sinusoidal Encoding for Robust Human Action Segmentation

• arxiv url: http://arxiv.org/abs/2507.00752v1
• Date: Tue, 01 Jul 2025 13:55:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.649128
• Title: Multi-Modal Graph Convolutional Network with Sinusoidal Encoding for Robust Human Action Segmentation
• Title（参考訳）: ロバストなヒューマンアクションセグメンテーションのための正弦波符号化によるマルチモーダルグラフ畳み込みネットワーク
• Authors: Hao Xing, Kai Zhe Boey, Yuankai Wu, Darius Burschka, Gordon Cheng,
• Abstract要約: 人間の行動の時間的セグメンテーションは 知的ロボットにとって 協調的な環境において 不可欠です 本稿では,低フレームレート(例えば1fps)の視覚データと高フレームレート(例えば30fps)のモーションデータを統合するマルチモーダルグラフ畳み込みネットワーク(MMGCN)を提案する。 我々の手法は、特にアクションセグメンテーションの精度において最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 10.122882293302787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate temporal segmentation of human actions is critical for intelligent robots in collaborative settings, where a precise understanding of sub-activity labels and their temporal structure is essential. However, the inherent noise in both human pose estimation and object detection often leads to over-segmentation errors, disrupting the coherence of action sequences. To address this, we propose a Multi-Modal Graph Convolutional Network (MMGCN) that integrates low-frame-rate (e.g., 1 fps) visual data with high-frame-rate (e.g., 30 fps) motion data (skeleton and object detections) to mitigate fragmentation. Our framework introduces three key contributions. First, a sinusoidal encoding strategy that maps 3D skeleton coordinates into a continuous sin-cos space to enhance spatial representation robustness. Second, a temporal graph fusion module that aligns multi-modal inputs with differing resolutions via hierarchical feature aggregation, Third, inspired by the smooth transitions inherent to human actions, we design SmoothLabelMix, a data augmentation technique that mixes input sequences and labels to generate synthetic training examples with gradual action transitions, enhancing temporal consistency in predictions and reducing over-segmentation artifacts. Extensive experiments on the Bimanual Actions Dataset, a public benchmark for human-object interaction understanding, demonstrate that our approach outperforms state-of-the-art methods, especially in action segmentation accuracy, achieving F1@10: 94.5% and F1@25: 92.8%.
• Abstract（参考訳）: 人間の行動の正確な時間的セグメンテーションは、サブアクティビティラベルの正確な理解と時間的構造が不可欠である、協調的な環境での知的ロボットにとって重要である。 しかしながら、人間のポーズ推定と物体検出の両方に固有のノイズは、しばしば過剰なセグメンテーションエラーを引き起こし、アクションシーケンスのコヒーレンスを乱す。 そこで本研究では,低フレームレート(例えば1fps)の視覚データを高フレームレート(例えば30fps)のモーションデータ(スケルトンとオブジェクト検出)と統合して断片化を緩和するマルチモーダルグラフ畳み込みネットワーク(MMGCN)を提案する。 私たちのフレームワークには3つの重要なコントリビューションがあります。 まず、3次元スケルトン座標を連続した罪コス空間にマッピングし、空間表現の堅牢性を高める正弦波符号化戦略を提案する。 第2に,マルチモーダル入力を階層的特徴集約による異なる解像度で整列する時間グラフ融合モジュール,第3に,人間の行動に固有のスムーズな遷移にインスパイアされたSmoothLabelMixを設計する。 人間と物体の相互作用を理解するための公開ベンチマークであるバイマナル・アクション・データセットに関する大規模な実験は、我々のアプローチが最先端の手法、特にアクション・セグメンテーションの精度を上回り、F1@10:94.5%、F1@25:92.8%を達成したことを実証している。

関連論文リスト

• Understanding Spatio-Temporal Relations in Human-Object Interaction using Pyramid Graph Convolutional Network [2.223052975765005]
  本稿では,人間と物体の相互作用を自動的に認識する新しいピラミッドグラフ畳み込みネットワーク(PGCN)を提案する。 このシステムは、映像データをグラフとして検出した結果から、人間と物体の2次元または3次元空間関係を表す。 我々は,人間と物体の相互作用認識の分野で,2つの挑戦的データセット上でモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-10T13:39:17Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• A Dual-Masked Auto-Encoder for Robust Motion Capture with Spatial-Temporal Skeletal Token Completion [13.88656793940129]
  本稿では, 3次元関節を再構成し, 個々の関節を識別するための適応的, アイデンティティを意識した三角測量モジュールを提案する。 次に,D-MAE(Dual-Masked Auto-Encoder)を提案する。 重大なデータ損失シナリオを扱う上で提案するモデルの能力を実証するために,高精度で挑戦的なモーションキャプチャデータセットに貢献する。
  論文  参考訳（メタデータ） (2022-07-15T10:00:43Z)
• Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition [49.163326827954656]
  骨格に基づく行動分類のための新しい多言語時空間グラフネットワークを提案する。 2つの枝の枝からなるデュアルヘッドグラフネットワークを開発し、少なくとも2つの時間分解能を抽出する。 3つの大規模データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-08-10T09:25:07Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• Group-Skeleton-Based Human Action Recognition in Complex Events [15.649778891665468]
  本稿では,複合イベントにおけるグループ骨格に基づく人間行動認識手法を提案する。 本手法はまず,マルチスケール空間時間グラフ畳み込みネットワーク(MS-G3D)を用いて,複数の人物から骨格の特徴を抽出する。 HiEveデータセットの結果から,本手法は他の最先端手法と比較して優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-11-26T13:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。