論文の概要: Sonicmesh: Enhancing 3D Human Mesh Reconstruction in Vision-Impaired Environments With Acoustic Signals

• arxiv url: http://arxiv.org/abs/2412.11325v1
• Date: Sun, 15 Dec 2024 22:04:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:54:27.813922
• Title: Sonicmesh: Enhancing 3D Human Mesh Reconstruction in Vision-Impaired Environments With Acoustic Signals
• Title（参考訳）: ソニックメッシュ:音響信号を用いた視覚障害者環境での3次元メッシュ再構築の実現
• Authors: Xiaoxuan Liang, Wuyang Zhang, Hong Zhou, Zhaolong Wei, Sicheng Zhu, Yansong Li, Rui Yin, Jiantao Yuan, Jeremy Gummeson,
• Abstract要約: SonicMeshは、音響信号とRGB画像を組み合わせて、人間のメッシュを再構築する新しいアプローチである。 我々は,効率的な特徴抽出のために既存の手法HRNetを修正した。 また,多次元特徴アライメントの精度を高めるために,普遍的な特徴埋め込み技術を統合する。
• 参考スコア（独自算出の注目度）: 9.55043118515151
• License:
• Abstract: 3D Human Mesh Reconstruction (HMR) from 2D RGB images faces challenges in environments with poor lighting, privacy concerns, or occlusions. These weaknesses of RGB imaging can be complemented by acoustic signals, which are widely available, easy to deploy, and capable of penetrating obstacles. However, no existing methods effectively combine acoustic signals with RGB data for robust 3D HMR. The primary challenges include the low-resolution images generated by acoustic signals and the lack of dedicated processing backbones. We introduce SonicMesh, a novel approach combining acoustic signals with RGB images to reconstruct 3D human mesh. To address the challenges of low resolution and the absence of dedicated processing backbones in images generated by acoustic signals, we modify an existing method, HRNet, for effective feature extraction. We also integrate a universal feature embedding technique to enhance the precision of cross-dimensional feature alignment, enabling SonicMesh to achieve high accuracy. Experimental results demonstrate that SonicMesh accurately reconstructs 3D human mesh in challenging environments such as occlusions, non-line-of-sight scenarios, and poor lighting.
• Abstract（参考訳）: 2D RGB画像からの3Dヒューマンメッシュ再構成(HMR)は、照明不足、プライバシー上の懸念、あるいは閉塞のある環境において課題に直面している。 これらのRGB画像の弱点は、広く利用でき、容易に展開でき、障害物を貫通できる音響信号によって補うことができる。 しかし、ロバストな3次元HMRのための音響信号とRGBデータとを効果的に組み合わせる手法は存在しない。 主な課題は、音響信号によって生成された低解像度の画像と、専用の処理バックボーンの欠如である。 音響信号とRGB画像を組み合わせて3次元メッシュを再構成する新しいアプローチであるSonicMeshを紹介する。 音響信号が生成する画像の低分解能化と専用処理バックボーンの欠如に対処するため,既存の手法であるHRNetを改良し,効率的な特徴抽出を行う。 また,多次元特徴アライメントの精度を高めるために,普遍的な特徴埋め込み技術を統合することで,SonicMeshの高精度化を実現している。 実験の結果、SonicMeshはオクルージョン、非視線シナリオ、照明不足といった困難な環境で3Dのメッシュを正確に再構築した。

関連論文リスト

• From Chaos to Clarity: 3DGS in the Dark [28.232432162734437]
  未処理の生画像のノイズは、3次元シーン表現の精度を損なう。 3D Gaussian Splatting (3DGS)はこのノイズに特に影響を受けやすい。 ノイズの多い生画像からHDR 3DGSを再構成するための,新しい自己教師型学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T15:00:16Z)
• A Refined 3D Gaussian Representation for High-Quality Dynamic Scene Reconstruction [2.022451212187598]
  近年,Neural Radiance Fields (NeRF) は3次元の3次元再構成に革命をもたらした。 3D Gaussian Splatting (3D-GS)は、ニューラルネットワークの暗黙の表現から離れ、代わりに、シーンを直接ガウス型の分布を持つ点雲として表現している。 本稿では,高品質な動的シーン再構成のための高精細な3次元ガウス表現を提案する。 実験の結果,提案手法は3D-GSによるメモリ使用量を大幅に削減しつつ,レンダリング品質と高速化の既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-28T07:12:22Z)
• NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising [23.876281686625134]
  我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。 各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
  論文  参考訳（メタデータ） (2024-03-29T07:59:37Z)
• AONeuS: A Neural Rendering Framework for Acoustic-Optical Sensor Fusion [25.32113731681485]
  水中の知覚と3次元表面の再構築は、建設、セキュリティ、海洋考古学、環境モニタリングにおける幅広い応用において難しい問題である。 本研究は,物理に基づく多モード音響-光学的ニューラルサーフェス再構成フレームワークの開発である。 これらの相補的なモダリティを融合させることで,本フレームワークは,高度に制限されたベースライン上での計測から高精度な高解像度3次元表面を再構築することができる。
  論文  参考訳（メタデータ） (2024-02-05T18:59:31Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields [56.30120727729177]
  DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。 提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
  論文  参考訳（メタデータ） (2023-03-20T18:03:32Z)
• Seeing Through The Noisy Dark: Toward Real-world Low-Light Image Enhancement and Denoising [125.56062454927755]
  現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。 我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
  論文  参考訳（メタデータ） (2022-10-02T14:57:23Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors [52.38220261632204]
  PIFuをベースとした再建術では, 顔面の平坦化が頻発する。 再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。 顔の鮮明な細部と身体形状の変形におけるアプローチの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2021-12-03T18:46:49Z)
• Neural Disparity Refinement for Arbitrary Resolution Stereo [67.55946402652778]
  本稿では,安価で広範なコンシューマデバイスへの3Dコンピュータビジョンの展開を容易にすることを目的とした,ニューラルディファリティ改善のための新しいアーキテクチャを提案する。 我々のアプローチは任意の出力解像度で洗練された不均一写像を推定できる連続的な定式化に依存している。
  論文  参考訳（メタデータ） (2021-10-28T18:00:00Z)
• ResDepth: A Deep Prior For 3D Reconstruction From High-resolution Satellite Images [28.975837416508142]
  ResDepthは畳み込みニューラルネットワークで、例データからそのような表現幾何学を学習する。 一連の実験において,提案手法はステレオDSMを定量的かつ定性的に一貫的に改善することがわかった。 ネットワーク重みに符号化された先行符号化は、都市デザインの意義ある幾何学的特徴を捉えていることを示す。
  論文  参考訳（メタデータ） (2021-06-15T12:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。