論文の概要: An uncertainty-aware framework for data-efficient multi-view animal pose estimation
- arxiv url: http://arxiv.org/abs/2510.09903v1
- Date: Fri, 10 Oct 2025 22:27:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:29.681901
- Title: An uncertainty-aware framework for data-efficient multi-view animal pose estimation
- Title(参考訳): データ効率な多視点動物ポーズ推定のための不確実性認識フレームワーク
- Authors: Lenny Aharon, Keemin Lee, Karan Sikka, Selmaan Chettih, Cole Hurwitz, Liam Paninski, Matthew R Whiteway,
- Abstract要約: 科学的研究における動物行動の定量化には多視点ポーズ推定が不可欠である。
我々は,新しいトレーニングとポストプロセッシング技術を組み合わせた包括的枠組みを開発する。
フレームワークコンポーネントは3種の多様な動物種に対して,既存の手法よりも一貫して優れています。
- 参考スコア(独自算出の注目度): 6.170832745769275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-view pose estimation is essential for quantifying animal behavior in scientific research, yet current methods struggle to achieve accurate tracking with limited labeled data and suffer from poor uncertainty estimates. We address these challenges with a comprehensive framework combining novel training and post-processing techniques, and a model distillation procedure that leverages the strengths of these techniques to produce a more efficient and effective pose estimator. Our multi-view transformer (MVT) utilizes pretrained backbones and enables simultaneous processing of information across all views, while a novel patch masking scheme learns robust cross-view correspondences without camera calibration. For calibrated setups, we incorporate geometric consistency through 3D augmentation and a triangulation loss. We extend the existing Ensemble Kalman Smoother (EKS) post-processor to the nonlinear case and enhance uncertainty quantification via a variance inflation technique. Finally, to leverage the scaling properties of the MVT, we design a distillation procedure that exploits improved EKS predictions and uncertainty estimates to generate high-quality pseudo-labels, thereby reducing dependence on manual labels. Our framework components consistently outperform existing methods across three diverse animal species (flies, mice, chickadees), with each component contributing complementary benefits. The result is a practical, uncertainty-aware system for reliable pose estimation that enables downstream behavioral analyses under real-world data constraints.
- Abstract(参考訳): 科学的研究における動物行動の定量化には多視点ポーズ推定が不可欠であるが、現在の手法ではラベル付きデータによる正確な追跡が困難であり、不確実性の評価が不十分である。
これらの課題を,新しいトレーニングとポストプロセッシング技術を組み合わせた包括的枠組みと,これらの手法の強みを生かしてより効率的かつ効果的なポーズ推定を行うためのモデル蒸留手法を用いて解決する。
我々のマルチビュートランス(MVT)は、事前訓練されたバックボーンを使用し、すべてのビューにわたる情報の同時処理を可能にする一方、新しいパッチマスキング方式は、カメラキャリブレーションなしで堅牢なクロスビュー対応を学習する。
3次元拡張と三角損失による幾何的整合性を考慮した校正装置について検討した。
既存のEnsemble Kalman Smoother(EKS)ポストプロセッサを非線形ケースに拡張し、分散インフレーション法による不確実性定量化を強化する。
最後に、MVTのスケーリング特性を活用するために、改良されたEKS予測と不確実性推定を利用して、高品質な擬似ラベルを生成する蒸留法を設計し、手動ラベルへの依存を減らす。
筆者らのフレームワークコンポーネントは, 3種の多様な動物種(ハエ, ネズミ, ニワトリ)に対して, 相補的利益をもたらす既存の手法を一貫して上回っている。
その結果,実世界のデータ制約下での下流行動分析を可能にする,信頼度の高いポーズ推定のための実用的で不確実性を考慮したシステムとなった。
関連論文リスト
- Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。
大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。
本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
論文 参考訳(メタデータ) (2025-10-08T10:09:47Z) - Enhancing Dual Network Based Semi-Supervised Medical Image Segmentation with Uncertainty-Guided Pseudo-Labeling [5.1962665598872135]
本稿では,デュアルネットワークアーキテクチャに基づく新しい半教師付き3次元医用画像分割フレームワークを提案する。
具体的には,クロス・擬似とエントロピーフィルタの両方を用いたクロス・コンシステンシー・エンハンスメント・モジュールについて検討し,ノイズの多い擬似ラベルを減らす。
さらに、教師付きコントラスト学習機構を用いて、不確実なボクセル特徴を信頼性の高いクラスプロトタイプと整合させる。
論文 参考訳(メタデータ) (2025-09-16T13:40:20Z) - Robust Confinement State Classification with Uncertainty Quantification through Ensembled Data-Driven Methods [39.27649013012046]
本研究では,不確実性定量化とモデルロバスト性を考慮した閉じ込め状態分類法を開発した。
我々は,TV放電のオフライン解析に焦点をあて,Lモード,Hモード,および中間ディザリング位相(D)を区別する。
302TCV放電のデータセットは完全にラベル付けされ、一般公開される。
論文 参考訳(メタデータ) (2025-02-24T18:25:22Z) - DeProPose: Deficiency-Proof 3D Human Pose Estimation via Adaptive Multi-View Fusion [57.83515140886807]
欠陥認識型3Dポーズ推定の課題について紹介する。
DeProPoseは、トレーニングの複雑さを減らすために、ネットワークアーキテクチャをシンプルにするためのフレキシブルなメソッドである。
我々は,新しい3次元ポーズ推定データセットを開発した。
論文 参考訳(メタデータ) (2025-02-23T03:22:54Z) - Predictive Uncertainty Quantification for Bird's Eye View Segmentation: A Benchmark and Novel Loss Function [10.193504550494486]
本稿では,Bird's Eye View (BEV)セグメンテーションにおける予測不確実性定量化のためのベンチマークを提案する。
本研究は,非分類および非分布画素の検出における定量化不確実性の有効性に焦点をあてる。
本研究では,不均衡なデータに特化して設計された新しい損失関数Uncertainty-Focal-Cross-Entropy (UFCE)を提案する。
論文 参考訳(メタデータ) (2024-05-31T16:32:46Z) - UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。
直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
論文 参考訳(メタデータ) (2024-04-23T00:18:00Z) - Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。
昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。
本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-03T20:37:55Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳(メタデータ) (2022-03-29T07:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。