論文の概要: BEAST3D: Animal behavioral analysis and neural encoding from multi-view video via Gaussian splatting

• arxiv url: http://arxiv.org/abs/2606.02937v1
• Date: Mon, 01 Jun 2026 22:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.628558
• Title: BEAST3D: Animal behavioral analysis and neural encoding from multi-view video via Gaussian splatting
• Title（参考訳）: BEAST3D:ガウススプラッティングによる多視点ビデオからの動物行動解析とニューラルエンコーディング
• Authors: Yanchen Wang, Lenny Aharon, Wangshu Zhu, Kyle Daruwalla, Linghua Zhang, Jiaru Zou, Selmaan Chettih, Helen Hou, Liam Paninski, Matthew R Whiteway,
• Abstract要約: BEAST3Dは、ラベルなし、校正されたマルチビュービデオから3D視覚表現を学ぶ、自己教師付き事前学習フレームワークである。 BEAST3Dは、既知のカメラパラメータを直接条件付けすることで、4つのビューで3D構造を再構築する。
• 参考スコア（独自算出の注目度）: 6.870390707295292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-view video recordings are increasingly used to capture the 3D movements of animals in experimental settings, yet extracting rich 3D representations from these recordings remains challenging. Supervised pose estimation requires extensive manual annotation, while general-purpose 3D reconstruction models trained on generic scene datasets fail on the specialized imagery and sparse-view setting of laboratory experiments. We address these limitations with BEAST3D, a self-supervised pretraining framework that learns 3D visual representations from unlabeled, calibrated multi-view video. BEAST3D uses a vision transformer to predict 3D Gaussian splats that reconstruct held-out views through differentiable rendering, while simultaneously segmenting the animal from the background. BEAST3D reconstructs 3D structure with as few as four views by conditioning directly on known camera parameters--unlike general-purpose models, which must estimate camera geometry from dense overlapping viewpoints that are seldom available in lab settings. Through comprehensive evaluation across four species, we demonstrate that BEAST3D produces rich, viewpoint-invariant features that transfer effectively to three downstream tasks: novel view synthesis, which validates the quality of the learned 3D representations; multi-view pose estimation, which provides the sparse keypoint trajectories widely used in behavioral analysis; and neural encoding, which relates 3D behavioral features to simultaneously recorded neural activity. BEAST3D thus establishes a versatile framework for behavioral analysis that leverages 3D structure in modern multi-view laboratory recordings.
• Abstract（参考訳）: マルチビュービデオ記録は、実験環境での動物の3Dの動きを捉えるのにますます使われているが、これらの記録からリッチな3D表現を抽出することは依然として困難である。 監視されたポーズ推定には広範囲な手動のアノテーションが必要であるが、汎用的な3D再構成モデルは実験室の特殊画像とスパースビュー設定で失敗する。 これらの制限をBEAST3Dで解決する。BEAST3Dは、ラベルなし、校正されたマルチビュービデオから3D視覚表現を学習する自己教師付き事前学習フレームワークである。 BEAST3Dは視覚変換器を用いて3Dガウスのスプラットを予測し、背景から動物を同時に分割しながら、異なるレンダリングによってホールドアウトビューを再構築する。 BEAST3Dは、既知のカメラパラメーターを直接条件付けることで、最大4つのビューで3D構造を再構築する。 BEAST3Dは,3つの下流課題に効果的に伝達するリッチで視点不変な特徴を効果的に生み出すことを示す。学習した3次元表現の質を検証する新しいビュー合成,行動解析に広く用いられているスパースキーポイント軌跡を提供するマルチビューポーズ推定,3次元行動特徴を同時に記録するニューラルエンコーディングである。 BEAST3Dは、現代の多視点実験室記録における3次元構造を利用した行動解析のための汎用的なフレームワークを確立する。

関連論文リスト

• Evaluating Foundation Models' 3D Understanding Through Multi-View Correspondence Analysis [38.10984626023432]
  本稿では, 微調整を必要とせず, 濃密な視覚的特徴の質を直接的に調査する, コンテキスト内3Dシーン理解のための新しいベンチマークを提案する。 我々は8つの最先端基盤モデルをベンチマークし、DINOベースのエンコーダが大きな視点シフトで競争力を維持することを示す。
  論文  参考訳（メタデータ） (2025-12-12T14:03:16Z)
• PAD3R: Pose-Aware Dynamic 3D Reconstruction from Casual Videos [25.79551555341372]
  PAD3Rは、カジュアルにキャプチャーされたモノクロビデオから変形可能な3Dオブジェクトを再構成する方法である。 その中心となるアプローチは、事前訓練された画像から3Dモデルによって教師される、パーソナライズされたオブジェクト中心のポーズ推定器を訓練する。 PAD3Rは、生成前の先行と異なるレンダリングを組み合わせることで、カテゴリーに依存しない方法で、高忠実で明瞭なオブジェクトの3D表現を再構築する。
  論文  参考訳（メタデータ） (2025-09-29T17:59:33Z)
• 4D-Animal: Freely Reconstructing Animatable 3D Animals from Videos [15.063635374924209]
  本報告では,ビデオからアニマタブルな3D動物を疎いキーポイントアノテーションを必要とせずに再構成する新しいフレームワークである4D-Animalを提案する。 提案手法では,2次元表現をSMALパラメータにマッピングする高密度特徴ネットワークを導入し,フィッティングプロセスの効率性と安定性を両立させる。
  論文  参考訳（メタデータ） (2025-07-14T16:24:31Z)
• UVRM: A Scalable 3D Reconstruction Model from Unposed Videos [68.34221167200259]
  従来の2次元視覚データを用いた3D再構成モデルのトレーニングには、トレーニングサンプルのカメラポーズに関する事前知識が必要である。 UVRMは、ポーズに関する情報を必要とせず、単眼ビデオでトレーニングし、評価できる新しい3D再構成モデルである。
  論文  参考訳（メタデータ） (2025-01-16T08:00:17Z)
• Virtual Pets: Animatable Animal Generation in 3D Scenes [84.0990909455833]
  仮想ペット(Virtual Pet)は、3次元環境下での標的動物種に対する現実的で多様な動きをモデル化するための新しいパイプラインである。 我々はモノクロインターネットビデオを活用し、背景と背景の静的なNeRF表現に対して変形可能なNeRF表現を抽出する。 我々は,種レベルの共有テンプレート学習とビデオ毎の微調整を含む再構築戦略を開発する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:30Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Common Pets in 3D: Dynamic New-View Synthesis of Real-Life Deformable Categories [80.30216777363057]
  コモンペットを3Dで紹介する(CoP3D)。 テスト時には、目に見えないオブジェクトの少数のビデオフレームが与えられたとき、Tracker-NeRFはその3Dポイントの軌跡を予測し、新しいビューを生成する。 CoP3Dの結果は、既存のベースラインよりも、厳密でない新規ビュー合成性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-07T22:42:42Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。