Fugu-MT 論文翻訳(概要): MoSE3: Learning World-Space SE(3) at Every Pixel

論文の概要: MoSE3: Learning World-Space SE(3) at Every Pixel

arxiv url: http://arxiv.org/abs/2610.03716v1
Date: Fri, 02 Oct 2026 17:58:52 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 00:14:30.56127
Title: MoSE3: Learning World-Space SE(3) at Every Pixel
Title（参考訳）: MoSE3: World-Space SE(3)をすべてのPixelで学ぶ
Abstract要約: MoSE3は、単眼のRGBビデオから高密度SE(3)の動きを予測するフィードフォワードモデルである。世界のすべてのピクセルでフル6-DoFの剛体変換を生成する。これは、ピクセル、部分、オブジェクトレベルで最先端のSE(3)推定を達成する。
参考スコア（独自算出の注目度）: 52.27471461263806
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Dense 3D point tracking has been a prominent paradigm for modeling motion in dynamic scenes, but a point track is just a 3-DoF translation curve per pixel: it captures where pixels go, not the rotation of the underlying part, nor which pixels move together as one body. We propose MoSE3, the first feed-forward model that predicts dense SE(3) motion from monocular RGB video, producing full 6-DoF rigid transforms at every pixel in world space. Per-pixel SE(3) motion offers a richer view of how a scene moves: rotation, translation, and grouping all at once. Directly predicting SE(3) is challenging: rotations lie on a curved manifold that is ill-suited to Euclidean regression, and annotations for SE(3) are particularly difficult to acquire. To address these challenges, MoSE3 predicts per-pixel SE(3) through two jointly learned intermediates, 3D point tracks and rigidity embeddings, and recovers SE(3) by differentiably fitting transforms within each soft rigid cluster, enabling end-to-end prediction and supervision. To close the data gap, we introduce Art-Kubric, a large-scale synthetic dataset with dense SE(3) and rigidity labels for articulated objects with rich physical interactions. MoSE3 achieves state-of-the-art SE(3) estimation at pixel, part, and object levels on both rigid and articulated benchmarks, and state-of-the-art average 3D point tracking accuracy across three datasets, while showing strong generalization to real-world videos despite being trained solely on synthetic motion data.
Abstract（参考訳）: Dense 3Dポイントトラッキングはダイナミックなシーンでの動きをモデル化するための重要なパラダイムだが、ポイントトラックは1ピクセルあたりの3DoF変換曲線にすぎない。我々は,モノクラーRGBビデオから高密度SE(3)運動を予測する最初のフィードフォワードモデルであるMoSE3を提案する。ピクセルごとのSE(3)の動きは、回転、翻訳、グループ化といったシーンの動きをよりリッチなビューを提供する。 SE(3) の直接予測は難しい: 回転はユークリッド回帰に不適な曲線多様体の上にあり、SE(3) のアノテーションは特に取得が難しい。これらの課題に対処するため、MoSE3は2つの共同学習された中間体、3Dポイントトラックと剛性埋め込みを通してピクセルごとのSE(3)を予測し、各ソフト剛性クラスタ内の変換を微分可能とすることでSE(3)を復元し、エンドツーエンドの予測と監視を可能にする。データギャップを埋めるために,高密度SE(3)の大規模合成データセットArt-Kubricと,リッチな物理的相互作用を持つ調音オブジェクトのための剛性ラベルを導入する。 MoSE3は、厳密なベンチマークと調音されたベンチマークの両方において、ピクセル、部分、オブジェクトレベルでの最先端SE(3)推定と、3つのデータセット間での最先端の平均3Dポイントトラッキングの精度を実現し、合成モーションデータにのみ訓練されているにもかかわらず、実世界のビデオに強力な一般化を示す。

論文の概要: MoSE3: Learning World-Space SE(3) at Every Pixel

関連論文リスト