論文の概要: Sonicmesh: Enhancing 3D Human Mesh Reconstruction in Vision-Impaired Environments With Acoustic Signals

• arxiv url: http://arxiv.org/abs/2412.11325v1
• Date: Sun, 15 Dec 2024 22:04:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:54:27.813922
• Title: Sonicmesh: Enhancing 3D Human Mesh Reconstruction in Vision-Impaired Environments With Acoustic Signals
• Title（参考訳）: ソニックメッシュ:音響信号を用いた視覚障害者環境での3次元メッシュ再構築の実現
• Authors: Xiaoxuan Liang, Wuyang Zhang, Hong Zhou, Zhaolong Wei, Sicheng Zhu, Yansong Li, Rui Yin, Jiantao Yuan, Jeremy Gummeson,
• Abstract要約: SonicMeshは、音響信号とRGB画像を組み合わせて、人間のメッシュを再構築する新しいアプローチである。 我々は,効率的な特徴抽出のために既存の手法HRNetを修正した。 また,多次元特徴アライメントの精度を高めるために,普遍的な特徴埋め込み技術を統合する。
• 参考スコア（独自算出の注目度）: 9.55043118515151
• License:
• Abstract: 3D Human Mesh Reconstruction (HMR) from 2D RGB images faces challenges in environments with poor lighting, privacy concerns, or occlusions. These weaknesses of RGB imaging can be complemented by acoustic signals, which are widely available, easy to deploy, and capable of penetrating obstacles. However, no existing methods effectively combine acoustic signals with RGB data for robust 3D HMR. The primary challenges include the low-resolution images generated by acoustic signals and the lack of dedicated processing backbones. We introduce SonicMesh, a novel approach combining acoustic signals with RGB images to reconstruct 3D human mesh. To address the challenges of low resolution and the absence of dedicated processing backbones in images generated by acoustic signals, we modify an existing method, HRNet, for effective feature extraction. We also integrate a universal feature embedding technique to enhance the precision of cross-dimensional feature alignment, enabling SonicMesh to achieve high accuracy. Experimental results demonstrate that SonicMesh accurately reconstructs 3D human mesh in challenging environments such as occlusions, non-line-of-sight scenarios, and poor lighting.
• Abstract（参考訳）: 2D RGB画像からの3Dヒューマンメッシュ再構成(HMR)は、照明不足、プライバシー上の懸念、あるいは閉塞のある環境において課題に直面している。 これらのRGB画像の弱点は、広く利用でき、容易に展開でき、障害物を貫通できる音響信号によって補うことができる。 しかし、ロバストな3次元HMRのための音響信号とRGBデータとを効果的に組み合わせる手法は存在しない。 主な課題は、音響信号によって生成された低解像度の画像と、専用の処理バックボーンの欠如である。 音響信号とRGB画像を組み合わせて3次元メッシュを再構成する新しいアプローチであるSonicMeshを紹介する。 音響信号が生成する画像の低分解能化と専用処理バックボーンの欠如に対処するため,既存の手法であるHRNetを改良し,効率的な特徴抽出を行う。 また,多次元特徴アライメントの精度を高めるために,普遍的な特徴埋め込み技術を統合することで,SonicMeshの高精度化を実現している。 実験の結果、SonicMeshはオクルージョン、非視線シナリオ、照明不足といった困難な環境で3Dのメッシュを正確に再構築した。

関連論文リスト

• SuperNeRF-GAN: A Universal 3D-Consistent Super-Resolution Framework for Efficient and Enhanced 3D-Aware Image Synthesis [59.73403876485574]
  本稿では,3次元連続超解像のための汎用フレームワークであるSuperNeRF-GANを提案する。 SuperNeRF-GANの重要な特徴は、NeRFベースの3D認識画像合成手法とのシームレスな統合である。 実験により, 提案手法の効率性, 3次元整合性, 品質が示された。
  論文  参考訳（メタデータ） (2025-01-12T10:31:33Z)
• SoundLoc3D: Invisible 3D Sound Source Localization and Classification Using a Multimodal RGB-D Acoustic Camera [61.642416712939095]
  SoundLoc3Dはタスクをセット予測問題として扱い、セットの各要素は潜在的な音源に対応する。 大規模シミュレーションデータセットにおけるSoundLoc3Dの有効性と優位性を示す。
  論文  参考訳（メタデータ） (2024-12-22T05:04:17Z)
• From Chaos to Clarity: 3DGS in the Dark [28.232432162734437]
  未処理の生画像のノイズは、3次元シーン表現の精度を損なう。 3D Gaussian Splatting (3DGS)はこのノイズに特に影響を受けやすい。 ノイズの多い生画像からHDR 3DGSを再構成するための,新しい自己教師型学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T15:00:16Z)
• A Refined 3D Gaussian Representation for High-Quality Dynamic Scene Reconstruction [2.022451212187598]
  近年,Neural Radiance Fields (NeRF) は3次元の3次元再構成に革命をもたらした。 3D Gaussian Splatting (3D-GS)は、ニューラルネットワークの暗黙の表現から離れ、代わりに、シーンを直接ガウス型の分布を持つ点雲として表現している。 本稿では,高品質な動的シーン再構成のための高精細な3次元ガウス表現を提案する。 実験の結果,提案手法は3D-GSによるメモリ使用量を大幅に削減しつつ,レンダリング品質と高速化の既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-28T07:12:22Z)
• NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising [23.876281686625134]
  我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。 各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
  論文  参考訳（メタデータ） (2024-03-29T07:59:37Z)
• AONeuS: A Neural Rendering Framework for Acoustic-Optical Sensor Fusion [25.32113731681485]
  水中の知覚と3次元表面の再構築は、建設、セキュリティ、海洋考古学、環境モニタリングにおける幅広い応用において難しい問題である。 本研究は,物理に基づく多モード音響-光学的ニューラルサーフェス再構成フレームワークの開発である。 これらの相補的なモダリティを融合させることで,本フレームワークは,高度に制限されたベースライン上での計測から高精度な高解像度3次元表面を再構築することができる。
  論文  参考訳（メタデータ） (2024-02-05T18:59:31Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Seeing Through The Noisy Dark: Toward Real-world Low-Light Image Enhancement and Denoising [125.56062454927755]
  現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。 我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
  論文  参考訳（メタデータ） (2022-10-02T14:57:23Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors [52.38220261632204]
  PIFuをベースとした再建術では, 顔面の平坦化が頻発する。 再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。 顔の鮮明な細部と身体形状の変形におけるアプローチの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2021-12-03T18:46:49Z)
• ResDepth: A Deep Prior For 3D Reconstruction From High-resolution Satellite Images [28.975837416508142]
  ResDepthは畳み込みニューラルネットワークで、例データからそのような表現幾何学を学習する。 一連の実験において,提案手法はステレオDSMを定量的かつ定性的に一貫的に改善することがわかった。 ネットワーク重みに符号化された先行符号化は、都市デザインの意義ある幾何学的特徴を捉えていることを示す。
  論文  参考訳（メタデータ） (2021-06-15T12:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。