論文の概要: EA-RAS: Towards Efficient and Accurate End-to-End Reconstruction of Anatomical Skeleton
- arxiv url: http://arxiv.org/abs/2409.01555v1
- Date: Tue, 3 Sep 2024 02:46:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 03:21:06.656729
- Title: EA-RAS: Towards Efficient and Accurate End-to-End Reconstruction of Anatomical Skeleton
- Title(参考訳): EA-RAS : 解剖学的骨格の高効率・高精度エンド・ツー・エンド再構築を目指して
- Authors: Zhiheng Peng, Kai Zhao, Xiaoran Chen, Li Ma, Siyu Xia, Changjie Fan, Weijian Shang, Wei Jing,
- Abstract要約: EA-RASは単段、軽量、プラグアンドプレイの解剖学的骨格推定器である。
1枚のRGB画像入力だけで、任意のポーズでリアルタイムで正確に解剖学的にリアルな骨格を提供することができる。
我々の回帰法は、既存の手法よりも800倍以上高速で、リアルタイムの要求を満たす。
- 参考スコア(独自算出の注目度): 28.290019864619605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient, accurate and low-cost estimation of human skeletal information is crucial for a range of applications such as biology education and human-computer interaction. However, current simple skeleton models, which are typically based on 2D-3D joint points, fall short in terms of anatomical fidelity, restricting their utility in fields. On the other hand, more complex models while anatomically precise, are hindered by sophisticate multi-stage processing and the need for extra data like skin meshes, making them unsuitable for real-time applications. To this end, we propose the EA-RAS (Towards Efficient and Accurate End-to-End Reconstruction of Anatomical Skeleton), a single-stage, lightweight, and plug-and-play anatomical skeleton estimator that can provide real-time, accurate anatomically realistic skeletons with arbitrary pose using only a single RGB image input. Additionally, EA-RAS estimates the conventional human-mesh model explicitly, which not only enhances the functionality but also leverages the outside skin information by integrating features into the inside skeleton modeling process. In this work, we also develop a progressive training strategy and integrated it with an enhanced optimization process, enabling the network to obtain initial weights using only a small skin dataset and achieve self-supervision in skeleton reconstruction. Besides, we also provide an optional lightweight post-processing optimization strategy to further improve accuracy for scenarios that prioritize precision over real-time processing. The experiments demonstrated that our regression method is over 800 times faster than existing methods, meeting real-time requirements. Additionally, the post-processing optimization strategy provided can enhance reconstruction accuracy by over 50% and achieve a speed increase of more than 7 times.
- Abstract(参考訳): ヒト骨格情報の効率的かつ正確かつ低コストな推定は、生物学教育や人間とコンピュータの相互作用など、幅広い応用に欠かせない。
しかし、現在の単純な骨格モデルは通常2D-3Dの接合点に基づいており、解剖学的な忠実さの観点からは不足しており、フィールドでの有効性を制限している。
一方、より複雑なモデルは解剖学的に正確だが、高度なマルチステージ処理とスキンメッシュのような余分なデータを必要とするため、リアルタイムアプリケーションには適さない。
この目的のために,単段,軽量,プラグアンドプレイの解剖学的骨格推定器であるEA-RAS(Towards Efficient and Accurate End-to-End Reconstruction of Anatomical Skeleton)を提案する。
さらに、EA-RASは、機能を強化するだけでなく、内部の骨格モデリングプロセスに機能を統合することで外部の皮膚情報も活用する従来のヒト・メシュモデルを明示的に推定する。
本研究は, プログレッシブトレーニング戦略を開発し, 改良された最適化プロセスと統合することにより, 小さなスキンデータセットのみを用いて初期重み付けを行い, 骨格再構築における自己監督を実現する。
さらに、リアルタイム処理よりも精度を優先するシナリオの精度をさらに向上するための、オプションの軽量な後処理最適化戦略も提供します。
実験により,我々の回帰法は既存手法の800倍以上の速度で,リアルタイム要求を満たすことを示した。
さらに、提供された後処理最適化戦略は、再構築精度を50%以上向上させ、7回以上の高速化を実現することができる。
関連論文リスト
- Simulating Realistic Post-Stroke Reaching Kinematics with Generative Adversarial Networks [0.0]
本研究では、CGAN(Conditional Generative Adversarial Networks)を用いて、公開データセットから合成キネマティックデータを生成する。
合成データと実験データの両方でディープラーニングモデルを訓練することにより,タスク分類精度を大幅に向上させることができた。
論文 参考訳(メタデータ) (2024-06-12T15:51:00Z) - S3O: A Dual-Phase Approach for Reconstructing Dynamic Shape and Skeleton of Articulated Objects from Single Monocular Video [13.510513575340106]
単一の単眼映像から動的に調音された物体を再構成することは困難であり、限られた視点から形状、動き、カメラパラメータを共同で推定する必要がある。
可視形状や下層の骨格を含むパラメトリックモデルを効率的に学習する新しい2相法であるS3Oを提案する。
標準ベンチマークとPlanetZooデータセットの実験により、S3Oはより正確な3D再構成と可塑性骨格を提供し、最先端技術と比較してトレーニング時間を約60%短縮することを確認した。
論文 参考訳(メタデータ) (2024-05-21T09:01:00Z) - Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。
我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。
この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
論文 参考訳(メタデータ) (2023-12-23T13:27:50Z) - Towards quantitative precision for ECG analysis: Leveraging state space
models, self-supervision and patient metadata [2.0777058026628583]
自動心電図解析システムの定量的精度向上を目的とした3つの要素について検討する。
まず、構造化状態空間モデル(SSM)を用いて時系列データの長期依存関係をキャプチャする。
第2に、コントラスト予測符号化を用いた自己教師型学習が、SSMの性能をさらに向上することを示した。
最後に、ECG信号と共に基本的な統計メタデータを入力として組み込む。
論文 参考訳(メタデータ) (2023-08-29T13:25:26Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳(メタデータ) (2023-02-01T17:32:16Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - EfficientPhys: Enabling Simple, Fast and Accurate Camera-Based Vitals
Measurement [5.435325323159416]
EfficientPhysと呼ばれるカメラによる生理的計測のための2つの新しいニューラルモデルを提案する。
我々のモデルは3つの公開データセットで最先端の精度を達成する。
論文 参考訳(メタデータ) (2021-10-09T03:51:26Z) - A parameter refinement method for Ptychography based on Deep Learning
concepts [55.41644538483948]
伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。
最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。
我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
論文 参考訳(メタデータ) (2021-05-18T10:15:17Z) - Revisiting Skeleton-based Action Recognition [107.08112310075114]
PoseC3Dは骨格に基づく行動認識の新しいアプローチであり、代わりに人間の骨格のベース表現としてグラフシーケンスを積み重ねる3Dヒートマップに依存している。
4つの挑戦的なデータセットにおいて、PoseC3Dは、スケルトン上で単独で使用し、RGBモダリティと組み合わせることで、常に優れたパフォーマンスを得る。
論文 参考訳(メタデータ) (2021-04-28T06:32:17Z) - Universal Undersampled MRI Reconstruction [12.731566667990315]
下検体MRI再構成のための汎用深部ニューラルネットワークの学習フレームワークを提案する。
具体的には、統計シフトを補償し、新しいデータセットに容易に一般化できる解剖学的特異なインスタンス正規化を提案する。
実験の結果, 提案するユニバーサルモデルは, 高画質で脳と膝の画像を再構成できることがわかった。
論文 参考訳(メタデータ) (2021-03-09T04:25:22Z) - Monocular Real-time Full Body Capture with Inter-part Correlations [66.22835689189237]
本稿では,体と手の形状と運動を1色画像から動的3次元顔モデルと共に推定する,実時間フルボディキャプチャの最初の手法を提案する。
提案手法では,体と手の相関を高い計算効率で活用する新しいニューラルネットワークアーキテクチャを用いる。
論文 参考訳(メタデータ) (2020-12-11T02:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。