Fugu-MT 論文翻訳(概要): From Frames to Sequences: Temporally Consistent Human-Centric Dense Prediction

論文の概要: From Frames to Sequences: Temporally Consistent Human-Centric Dense Prediction

arxiv url: http://arxiv.org/abs/2602.01661v2
Date: Tue, 03 Feb 2026 06:44:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-04 13:28:03.726649
Title: From Frames to Sequences: Temporally Consistent Human-Centric Dense Prediction
Title（参考訳）: フレームからシーケンスへ:時間的に一貫性のある人間中心密度予測
Authors: Xingyu Miao, Junting Dong, Qin Zhao, Yuhang Yang, Junhao Chen, Yang Long,
Abstract要約: 我々は、人間のフレームと、画素精度の深度、正常度、マスクを用いた動き整列を生成するスケーラブルな合成データパイプラインを開発した。我々は、CSE埋め込みを介して、明示的な幾何学的人体を注入する統合されたViTベースの密度予測器を訓練する。静的プレトレーニングと動的シーケンス監視を組み合わせた2段階のトレーニング戦略により、まず、ロバストな空間表現を取得し、その後、動きに沿ったシーケンス間で時間的一貫性を洗練できる。
参考スコア（独自算出の注目度）: 22.291273919939957
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we focus on the challenge of temporally consistent human-centric dense prediction across video sequences. Existing models achieve strong per-frame accuracy but often flicker under motion, occlusion, and lighting changes, and they rarely have paired human video supervision for multiple dense tasks. We address this gap with a scalable synthetic data pipeline that generates photorealistic human frames and motion-aligned sequences with pixel-accurate depth, normals, and masks. Unlike prior static data synthetic pipelines, our pipeline provides both frame-level labels for spatial learning and sequence-level supervision for temporal learning. Building on this, we train a unified ViT-based dense predictor that (i) injects an explicit human geometric prior via CSE embeddings and (ii) improves geometry-feature reliability with a lightweight channel reweighting module after feature fusion. Our two-stage training strategy, combining static pretraining with dynamic sequence supervision, enables the model first to acquire robust spatial representations and then refine temporal consistency across motion-aligned sequences. Extensive experiments show that we achieve state-of-the-art performance on THuman2.1 and Hi4D and generalize effectively to in-the-wild videos.
Abstract（参考訳）: 本研究では,映像系列間の時間的一貫した人間中心密度予測の課題に焦点をあてる。既存のモデルはフレーム単位の精度は高いが、動作、閉塞、照明の変更によりフリックすることが多く、複数の密集したタスクのために人間のビデオ監督とペアを組むことは滅多にない。このギャップを、フォトリアリスティックな人間のフレームを生成するスケーラブルな合成データパイプラインで解決する。従来の静的データ合成パイプラインとは異なり、我々のパイプラインは空間学習のためのフレームレベルラベルと時間学習のためのシーケンスレベル監視の両方を提供する。これに基づいて、我々は統合されたViTベースの高密度予測器を訓練する。 (i)CSE埋め込みを介して明示的なヒトの幾何学的前駆体を注入し、 (II) 機能融合後の軽量チャネル再加重モジュールにより, 幾何特性の信頼性を向上させる。静的プレトレーニングと動的シーケンス監視を組み合わせた2段階のトレーニング戦略により、まず、ロバストな空間表現を取得し、その後、動きに沿ったシーケンス間で時間的一貫性を洗練できる。広汎な実験により,THuman2.1 と Hi4D の最先端性能を達成し,映像の映像化を効果的に行うことができた。

関連論文リスト

SV-GS: Sparse View 4D Reconstruction with Skeleton-Driven Gaussian Splatting [19.12278036176021]
SV-GSは変形モデルと物体の動きを同時に推定するフレームワークである。提案手法は,PSNRの34%までのスパース観測下での既存手法よりも優れていた。
論文参考訳（メタデータ） (2026-01-01T09:53:03Z)
Multi-Modal Graph Convolutional Network with Sinusoidal Encoding for Robust Human Action Segmentation [10.122882293302787]
人間の行動の時間的セグメンテーションは知的ロボットにとって協調的な環境において不可欠です本稿では,低フレームレート(例えば1fps)の視覚データと高フレームレート(例えば30fps)のモーションデータを統合するマルチモーダルグラフ畳み込みネットワーク(MMGCN)を提案する。我々の手法は、特にアクションセグメンテーションの精度において最先端の手法よりも優れている。
論文参考訳（メタデータ） (2025-07-01T13:55:57Z)
DiST-4D: Disentangled Spatiotemporal Diffusion with Metric Depth for 4D Driving Scene Generation [50.01520547454224]
現在の生成モデルは、時空間外挿と空間新規ビュー合成(NVS)を同時にサポートする4次元駆動シーンの合成に苦慮している本研究では,2つの拡散過程に分散するDiST-4Dを提案する。DST-Tは過去の観測結果から直接,将来の距離深度と多視点RGBシーケンスを予測し,DST-Sは,既存の視点でのみ空間的NVSを訓練し,サイクル整合性を実現する。実験により、DiST-4Dは時間的予測とNVSタスクの両方において最先端のパフォーマンスを達成し、同時に計画関連評価において競合性能を提供することが示された。
論文参考訳（メタデータ） (2025-03-19T13:49:48Z)
DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
論文参考訳（メタデータ） (2024-11-20T13:01:16Z)
S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠であるこれまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文参考訳（メタデータ） (2024-02-22T11:40:49Z)
Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文参考訳（メタデータ） (2024-01-01T12:08:35Z)
Multiscale Residual Learning of Graph Convolutional Sequence Chunks for Human Motion Prediction [23.212848643552395]
時間的および空間的依存関係の学習による人間の動作予測のための新しい手法を提案する。提案手法は,動作予測のためのシーケンス情報を効果的にモデル化し,他の手法よりも優れ,新しい最先端の手法を設定できる。
論文参考訳（メタデータ） (2023-08-31T15:23:33Z)
STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model [0.0]
ビデオ入力と空間的時間的注意ネットワークから,映像のフレーム列を同時に予測する自己教師型モデルを提案する。提案モデルでは,物体形状やテクスチャなどの事前のシーン知識を,単一画像深度推定法に類似した手法で活用する。マルチオブジェクト検出、セグメンテーション、トラッキングを含む複雑なモデルを必要とするのではなく、暗黙的にシーン内のオブジェクトの動きを予測することができる。
論文参考訳（メタデータ） (2023-03-02T12:22:51Z)
Modelling Latent Dynamics of StyleGAN using Neural ODEs [52.03496093312985]
我々は、GANから独立に反転した潜在符号の軌跡を学習する。学習した連続軌道により、無限のフレームと一貫したビデオ操作を行うことができる。提案手法は最先端の性能を実現するが,計算量が少なくなる。
論文参考訳（メタデータ） (2022-08-23T21:20:38Z)
SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning [114.58986229852489]
本稿では,空間的,シーケンシャル,時間的観点から,シーケンスの基本的および汎用的な監視について検討する。私たちはContrastive Learning(SeCo)という特定の形式を導き出します。 SeCoは、アクション認識、未トリムアクティビティ認識、オブジェクト追跡に関する線形プロトコルにおいて、優れた結果を示す。
論文参考訳（メタデータ） (2020-08-03T15:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。