論文の概要: RatBodyFormer: Rat Body Surface from Keypoints
- arxiv url: http://arxiv.org/abs/2412.09599v3
- Date: Thu, 27 Mar 2025 01:58:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-28 12:49:10.304055
- Title: RatBodyFormer: Rat Body Surface from Keypoints
- Title（参考訳）: RatBodyFormer: キーポイントから見たラットの体表面
- Authors: Ayaka Higami, Karin Oshima, Tomoyo Isoguchi Shiramatsu, Hirokazu Takahashi, Shohei Nobuhara, Ko Nishino,
- Abstract要約: そこで本研究では,ラットの体表面を高密度な点集合として再構築する最初の手法を提案する。
ひとつは、ラットの行動キャプチャーのための新しいマルチカメラシステムであるRatDomeと、3Dキーポイントと3Dボディサーフェスポイントからなる大規模なデータセットである。
第二のRatBodyFormerは、検出されたキーポイントを3Dボディサーフェスポイントに変換する新しいネットワークだ。
- 参考スコア（独自算出の注目度）: 25.01030789558578
- License:
- Abstract: Analyzing rat behavior lies at the heart of many scientific studies. Past methods for automated rodent modeling have focused on 3D pose estimation from keypoints, e.g., face and appendages. The pose, however, does not capture the rich body surface movement encoding the subtle rat behaviors like curling and stretching. The body surface lacks features that can be visually defined, evading these established keypoint-based methods. In this paper, we introduce the first method for reconstructing the rat body surface as a dense set of points by learning to predict it from the sparse keypoints that can be detected with past methods. Our method consists of two key contributions. The first is RatDome, a novel multi-camera system for rat behavior capture, and a large-scale dataset captured with it that consists of pairs of 3D keypoints and 3D body surface points. The second is RatBodyFormer, a novel network to transform detected keypoints to 3D body surface points. RatBodyFormer is agnostic to the exact locations of the 3D body surface points in the training data and is trained with masked-learning. We experimentally validate our framework with a number of real-world experiments. Our results collectively serve as a novel foundation for automated rat behavior analysis.
- Abstract（参考訳）: ラットの行動を分析することは、多くの科学的研究の中心にある。
ダレント自動モデリングの過去の手法は、キーポイント、例えば顔と付属物から3次元のポーズ推定に焦点を合わせてきた。
しかし、ポーズは、カーリングやストレッチのような微妙なラットの振る舞いをコードするリッチな体表面の動きを捉えていない。
ボディサーフェスは、これらの確立されたキーポイントベースのメソッドを避けることで、視覚的に定義できる特徴を欠いている。
本稿では,ラットの体表面を高密度な点集合として再構築する最初の手法を提案する。
私たちの方法は2つの重要な貢献から成り立っている。
ひとつは、ラットの行動キャプチャーのための新しいマルチカメラシステムであるRatDomeと、3Dキーポイントと3Dボディサーフェスポイントからなる大規模なデータセットである。
第二のRatBodyFormerは、検出されたキーポイントを3Dボディサーフェスポイントに変換する新しいネットワークだ。
RatBodyFormerはトレーニングデータ中の3Dボディサーフェスポイントの正確な位置を知らないため、マスク付き学習でトレーニングされる。
我々は、実世界の実験で、我々のフレームワークを実験的に検証した。
本研究は,ラットの自動行動解析のための新しい基盤として機能する。
関連論文リスト
- Tracking Mouse from Incomplete Body-Part Observations and Deep-Learned Deformable-Mouse Model Motion-Track Constraint for Behavior Analysis [3.7769237098562227]
この概念的研究において、様々な視点からのビデオは、グローバルな外部カメラの向きによって統合される。
身体部分の位置は3次元三角法と束調整によって推定される。
結果として得られた3Dボディとボディパートのトラック推定値は、元のシングルフレームベースのボディパート検出よりもかなり完全である。
論文 参考訳（メタデータ） (2025-01-19T12:37:41Z) - CameraHMR: Aligning People with Perspective [54.05758012879385]
モノクロ画像からの正確な3次元ポーズと形状推定の課題に対処する。
既存のトレーニングデータセットには、擬似基底真理(pGT)を持つ実画像が含まれている。
pGTの精度を向上させる2つの貢献をしている。
論文 参考訳（メタデータ） (2024-11-12T19:12:12Z) - Learning to Estimate 3D Human Pose from Point Cloud [13.27496851711973]
本稿では,複雑な人体構造物の表面をモデル化するための入力データとして,点雲データを用いた3次元ポーズ推定のための深層人体ポーズネットワークを提案する。
2つの公開データセットに対する実験により,従来の最先端手法よりも精度が高いことを示す。
論文 参考訳（メタデータ） (2022-12-25T14:22:01Z) - SNAKE: Shape-aware Neural 3D Keypoint Field [62.91169625183118]
形状復元には点雲から3Dキーポイントを検出することが重要である。
形状再構成は3次元キーポイント検出に有効か?
本稿では,形状認識型ニューラル3Dキーポイントフィールドに短いSNAKEという,教師なしの新たなパラダイムを提案する。
論文 参考訳（メタデータ） (2022-06-03T17:58:43Z) - PedRecNet: Multi-task deep neural network for full 3D human pose and
orientation estimation [0.0]
マルチタスクネットワークは、様々なディープニューラルネットワークベースの歩行者検出機能をサポートしている。
ネットワークアーキテクチャは比較的単純だが強力であり、さらなる研究や応用にも容易に適応できる。
論文 参考訳（メタデータ） (2022-04-25T10:47:01Z) - Surface-Aligned Neural Radiance Fields for Controllable 3D Human
Synthesis [4.597864989500202]
本稿では,多視点RGBビデオから暗黙の3次元モデルを再構築する手法を提案する。
本手法は,人体メッシュの表面から,メッシュ表面点と署名された距離のニューラルシーン表現を定義する。
論文 参考訳（メタデータ） (2022-01-05T16:25:32Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳（メタデータ） (2021-08-31T18:33:55Z) - KAMA: 3D Keypoint Aware Body Mesh Articulation [79.04090630502782]
本稿では,パラメトリックなボディーモデルSMPLを簡単な幾何学的変換によって記述する解析解を提案する。
今回のアプローチは,最先端のアプローチと比較して,画像コンテンツのアライメントが大幅に向上する。
挑戦的な3DPWおよびHuman3.6Mの結果は私達のアプローチが最先端のボディ網付属品をもたらすことを示します。
論文 参考訳（メタデータ） (2021-04-27T23:01:03Z) - Human Motion Tracking by Registering an Articulated Surface to 3-D
Points and Normals [12.356268615409324]
本研究では、表面を3次元データに登録することで、人間の動作追跡の問題に対処する。
本稿では,運動パラメータと自由運動パラメータの両方に対する最大推定値を反復的に計算する手法を提案する。
本研究では,不完全なシルエットから収集した疎視的形状データを用いて,人間の動作を追跡する手法について述べる。
論文 参考訳（メタデータ） (2020-12-08T16:02:16Z) - Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh
Recovery from a 2D Human Pose [70.23652933572647]
本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。
我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-08-20T16:01:56Z) - Combining Implicit Function Learning and Parametric Models for 3D Human
Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。
このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。
詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文 参考訳（メタデータ） (2020-07-22T13:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。