論文の概要: Motion-Saliency Complementary Masked Modeling for Point Cloud Video Understanding
- arxiv url: http://arxiv.org/abs/2608.30279v1
- Date: Mon, 31 Aug 2026 05:48:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.246483
- Title: Motion-Saliency Complementary Masked Modeling for Point Cloud Video Understanding
- Title（参考訳）: ポイントクラウド映像理解のためのモーションサプライアンス補完型マスケッドモデリング
- Abstract要約: MoSaiCは、セルフ教師付きポイントクラウドビデオ表現学習のための新しいMotion-Saliency Complementary masked Modelingフレームワークである。
MoSaiCには、CMSM(Curriculum Motion-Saliency Masking)、NFM(Normal-Flow Motion)モデリング、C TCP(Cross-view Token Consistency Prediction)の3つのコンポーネントがある。
- 参考スコア（独自算出の注目度）: 11.009447422323097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Point cloud video representation learning is crucial for 3D dynamic scene understanding. In this paper, we propose MoSaiC, a novel Motion-Saliency Complementary masked modeling framework for self-supervised point cloud video representation learning. MoSaiC couples three components: Curriculum Motion-Saliency Masking (CMSM), which guides the masking process toward motion-salient tokens under a curriculum schedule; Normal-Flow Motion (NFM) modeling, which supervises the local rigid rotation of each token in the Lie algebra so(3) as an explicit geometric motion target; and Cross-view Token Consistency Prediction (CTCP), which enforces consistency between two complementary masked views at the token level. Together, these components allow MoSaiC to effectively capture both appearance and motion dynamics. Extensive experiments on multiple downstream tasks, including action recognition, temporal action segmentation, and point-level semantic segmentation, demonstrate the effectiveness of our approach.
- Abstract（参考訳）: ポイントクラウドビデオ表現学習は3次元動的シーン理解に不可欠である。
本稿では,MoSaiC(MoSaiC)を提案する。
MoSaiCには3つのコンポーネントがある: カリキュラム モーション・サリエンシ・マスキング (CMSM) は、カリキュラムのスケジュールの下で、ムーブメント・サリエントなトークンに向けてマスキングプロセスを導く; 正規フロー・モーション (NFM) モデリングは、リー代数のそれぞれのトークンの局所的な剛性回転を監督する; so(3) は、明示的な幾何学的運動ターゲットとして、クロスビュー トークン・コンシスタンス・予測 (CTCP) と、トークンレベルで2つの補完的なマスキング・ビュー間の一貫性を強制するクロスビュー トークン・トケン・コンシスタンス・予測 (CTCP) である。
これらのコンポーネントを組み合わせることで、MoSaiCは外観と動きのダイナミクスの両方を効果的に捉えることができる。
動作認識,時間的行動セグメンテーション,ポイントレベルの意味セグメンテーションなど,複数の下流タスクに対する広範囲な実験は,我々のアプローチの有効性を実証している。
関連論文リスト
- InstrAct: Towards Action-Centric Understanding in Instructional Videos [12.356484522873577]
InstrActionは、インストラクショナルビデオのアクション中心表現のための事前トレーニングフレームワークである。
まず、ノイズの多いキャプションをフィルタリングし、アクション中心のハードネガティブを生成する、データ駆動型戦略を導入する。
視覚的特徴レベルでは、Action Perceiverは、冗長なビデオエンコーディングからモーション関連トークンを抽出する。
論文 参考訳（メタデータ） (2026-04-09T20:51:13Z) - TrackMAE: Video Representation Learning via Track Mask and Predict [53.79942817343784]
Masked Video Modeling (MVM)は、シンプルでスケーラブルな自己教師付き事前トレーニングパラダイムとして登場した。
動作情報を復元信号として明示的に利用するシンプルなマスク付きビデオモデリングパラダイムであるTrackMAEを提案する。
我々は、さまざまな下流設定の6つのデータセットを評価し、TrackMAEが最先端のビデオ自己教師型学習ベースラインを一貫して上回っていることを発見した。
論文 参考訳（メタデータ） (2026-03-28T13:35:23Z) - IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。
本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。
本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
論文 参考訳（メタデータ） (2026-02-07T11:17:20Z) - MaskSem: Semantic-Guided Masking for Learning 3D Hybrid High-Order Motion Representation [14.527924445224302]
MaskSemは3次元ハイブリッド高次動き表現を学習するための意味誘導マスキング手法である。
本研究では,ハイブリッド高次運動を再構成対象とし,モデルが多次運動パターンを学習できるようにする。
実験により、MaskSemはバニラ変圧器と組み合わせて骨格に基づく行動認識を改善することが示された。
論文 参考訳（メタデータ） (2025-08-18T14:24:04Z) - Masked Clustering Prediction for Unsupervised Point Cloud Pre-training [61.11226004056774]
MaskCluは、3Dポイントクラウド上でのViTの教師なし事前トレーニング手法である。
マスク付きポイントモデリングとクラスタリングベースの学習を統合している。
論文 参考訳（メタデータ） (2025-08-12T12:58:44Z) - Trokens: Semantic-Aware Relational Trajectory Tokens for Few-Shot Action Recognition [36.662223760818584]
Trokensは、トラジェクトリポイントをアクション認識のための意味認識型リレーショナルトークンに変換する新しいアプローチである。
本研究では, 軌跡のヒストグラム(Histogram of Oriented Displacements, HoD)と, 複雑な行動パターンをモデル化するための軌跡間関係(inter-trajectory relationship)により, 軌道内力学を捉える運動モデリングフレームワークを開発した。
提案手法は,これらのトラジェクトリトークンとセマンティックな特徴を効果的に組み合わせて,動作情報による外観特徴の向上と,6つの多種多様なアクション認識ベンチマークにおける最先端性能の実現を実現する。
論文 参考訳（メタデータ） (2025-08-05T17:59:58Z) - PvNeXt: Rethinking Network Design and Temporal Motion for Point Cloud Video Recognition [18.995561133818196]
我々はPvNeXtという名前のフレームワークを提案する。
PvNeXtは2つの重要なモジュール、Motion ImitatorとSingle-Step Motionで構成されている。
Single-Step Motionは、各フレームのポイントクラウドと対応する仮想モーションフレームを関連付ける、1ステップのクエリ操作を実行する。
論文 参考訳（メタデータ） (2025-04-07T13:43:51Z) - Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。
textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。
SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
論文 参考訳（メタデータ） (2024-03-02T08:18:57Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-11T04:20:30Z) - Motion-Attentive Transition for Zero-Shot Video Object Segmentation [99.44383412488703]
ゼロショットオブジェクトセグメンテーションのためのモーション・アテンタティブ・トランジション・ネットワーク(MATNet)を提案する。
モーション・アテンティブ・トランジション (MAT) と呼ばれる非対称のアテンションブロックは、2ストリームエンコーダ内に設計されている。
このように、エンコーダは深く相互に作用し、物体の動きと外観の間の密な階層的な相互作用を可能にする。
論文 参考訳（メタデータ） (2020-03-09T16:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。