論文の概要: Pose Splatter: A 3D Gaussian Splatting Model for Quantifying Animal Pose and Appearance
- arxiv url: http://arxiv.org/abs/2505.18342v1
- Date: Fri, 23 May 2025 19:57:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.351407
- Title: Pose Splatter: A 3D Gaussian Splatting Model for Quantifying Animal Pose and Appearance
- Title（参考訳）: Pose Splatter:動物行動と出現の定量化のための3次元ガウス的スプラッティングモデル
- Authors: Jack Goffinet, Youngjo Min, Carlo Tomasi, David E. Carlson,
- Abstract要約: Pose Splatterは、形状彫刻と3Dガウススプラッティングを利用して、実験動物の完全なポーズと外観をモデル化する新しいフレームワークである。
我々は,Pose Splatterが正確な3次元動物ジオメトリを学習し,ヒトが評価する最先端技術に対して,より低次元のポーズ埋め込みを提供することを示す。
Pose Splatterは、アノテーションとフレーム単位の最適化ボトルネックを排除することによって、ジェノタイプ、神経活動、微小行動のマッピングに必要な大規模で長手な振る舞いの分析を可能にする。
- 参考スコア（独自算出の注目度）: 6.652134611755436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate and scalable quantification of animal pose and appearance is crucial for studying behavior. Current 3D pose estimation techniques, such as keypoint- and mesh-based techniques, often face challenges including limited representational detail, labor-intensive annotation requirements, and expensive per-frame optimization. These limitations hinder the study of subtle movements and can make large-scale analyses impractical. We propose Pose Splatter, a novel framework leveraging shape carving and 3D Gaussian splatting to model the complete pose and appearance of laboratory animals without prior knowledge of animal geometry, per-frame optimization, or manual annotations. We also propose a novel rotation-invariant visual embedding technique for encoding pose and appearance, designed to be a plug-in replacement for 3D keypoint data in downstream behavioral analyses. Experiments on datasets of mice, rats, and zebra finches show Pose Splatter learns accurate 3D animal geometries. Notably, Pose Splatter represents subtle variations in pose, provides better low-dimensional pose embeddings over state-of-the-art as evaluated by humans, and generalizes to unseen data. By eliminating annotation and per-frame optimization bottlenecks, Pose Splatter enables analysis of large-scale, longitudinal behavior needed to map genotype, neural activity, and micro-behavior at unprecedented resolution.
- Abstract（参考訳）: 動物のポーズと外観の正確でスケーラブルな定量化は、行動を研究するために不可欠である。
キーポイントやメッシュベースのテクニックのような現在の3Dポーズ推定技術は、表現の細部が限られていること、労働集約的なアノテーション要件、フレーム単位の高価な最適化といった課題に直面していることが多い。
これらの制限は微妙な動きの研究を妨げ、大規模な分析を非現実的にすることができる。
動物形状, フレームごとの最適化, あるいは手動アノテーションの事前知識を必要とせず, 3次元ガウス版と3次元ガウス版を用いて, 実験動物の完全なポーズと外観をモデル化する新しいフレームワークであるPose Splatterを提案する。
また、下流行動解析における3Dキーポイントデータのプラグイン置換を目的とした、ポーズと外観を符号化する新しい回転不変な視覚埋め込み手法を提案する。
マウス、ネズミ、ゼブラフィンチのデータセットの実験では、Pose Splatterは正確な3D動物の地形を学習している。
特に、Pose Splatterは、ポーズの微妙なバリエーションを表し、人間によって評価されるように、最先端技術に対してより優れた低次元のポーズ埋め込みを提供し、目に見えないデータに一般化する。
Pose Splatterは、アノテーションとフレーム単位の最適化ボトルネックを取り除くことにより、前例のない解像度でジェノタイプ、神経活動、微小行動のマッピングに必要な大規模で縦方向の振る舞いの分析を可能にする。
関連論文リスト
- Generative Zoo [41.65977386204797]
各種の哺乳類の四足動物に対して多様なポーズと形状の集合をサンプリングするパイプラインを導入し,それに対応する接地トルースポーズと形状パラメータを用いたリアルな画像を生成する。
我々はGenZoo上で3Dポーズと形状回帰器を訓練し、実際の動物のポーズと形状推定ベンチマーク上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-12-11T04:57:53Z) - PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction [9.231326291897817]
我々はPGAHumを紹介した。PGAHumは、高忠実でアニマタブルな人体再構成のための、事前ガイダンス付き幾何学および外観学習フレームワークである。
我々はPGAHumの3つの主要モジュールにおける3次元人体前駆体を徹底的に利用し、複雑な細部と見えないポーズのフォトリアリスティックなビュー合成による高品質な幾何再構成を実現する。
論文 参考訳（メタデータ） (2024-04-22T04:22:30Z) - SkelFormer: Markerless 3D Pose and Shape Estimation using Skeletal Transformers [57.46911575980854]
マルチビュー人間のポーズと形状推定のための新しいマーカーレスモーションキャプチャパイプラインであるSkelFormerを紹介する。
提案手法は,まず市販の2次元キーポイント推定器を用いて,大規模インザミルドデータに基づいて事前トレーニングを行い,3次元関節位置を求める。
次に、重雑音観測から、関節の位置をポーズと形状の表現にマッピングする回帰に基づく逆運動性骨格変換器を設計する。
論文 参考訳（メタデータ） (2024-04-19T04:51:18Z) - Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape [32.11280929126699]
哺乳類の3Dポーズと形状推定のための包括的データセットであるAnimal3Dを提案する。
動物3Dは、40種の哺乳類から収集された3379枚の画像、26個のキーポイントの高品質なアノテーション、特にSMALモデルのポーズと形状パラメータで構成されている。
The Animal3D data based on the Animal3D dataset, we benchmark representative shape and pose Estimation model at (1) 教師付き学習, (2) 合成画像から実写への変換, 3) 微調整された人間のポーズと形状推定モデル。
論文 参考訳（メタデータ） (2023-08-22T18:57:07Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳（メタデータ） (2023-08-18T16:41:57Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳（メタデータ） (2021-11-30T04:10:57Z) - Coarse-to-fine Animal Pose and Shape Estimation [67.39635503744395]
単一画像から3次元動物メッシュを再構成する粗大なアプローチを提案する。
粗い推定段階はまずSMALモデルのポーズ、形状、翻訳パラメータを推定する。
次に、推定メッシュをグラフ畳み込みネットワーク(GCN)によって開始点として使用し、精製段階における頂点毎の変形を予測する。
論文 参考訳（メタデータ） (2021-11-16T01:27:20Z) - Evaluation of deep lift pose models for 3D rodent pose estimation based
on geometrically triangulated data [1.84316002191515]
行動は3次元で理想的に捉えられるポーズの変化の観点から研究されるのが一般的である。
これは、異なる角度から動物を見るマルチカメラシステムに対する三角測量を必要とする。
そこで本研究では,単視点カメラビューから自由に動くロジトを頑健な3次元ポーズ推定が可能なリフトプレイスモデルを提案する。
論文 参考訳（メタデータ） (2021-06-24T13:08:33Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳（メタデータ） (2020-06-24T23:56:33Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳（メタデータ） (2020-04-09T07:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。