論文の概要: AudioEar: Single-View Ear Reconstruction for Personalized Spatial Audio
- arxiv url: http://arxiv.org/abs/2301.12613v1
- Date: Mon, 30 Jan 2023 02:15:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 16:03:56.469826
- Title: AudioEar: Single-View Ear Reconstruction for Personalized Spatial Audio
- Title（参考訳）: AudioEar:パーソナライズされた空間オーディオのための単一視点耳再構成
- Authors: Xiaoyang Huang, Yanjun Wang, Yang Liu, Bingbing Ni, Wenjun Zhang,
Jinxian Liu, Teng Li
- Abstract要約: 単一視点画像を用いて3次元人間の耳を再構成し,パーソナライズされた空間音声を実現することを提案する。
視覚と音響のギャップを埋めるために,再建された耳メッシュと市販の3D人体を一体化するためのパイプラインを開発した。
- 参考スコア（独自算出の注目度）: 44.460995595847606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatial audio, which focuses on immersive 3D sound rendering, is widely
applied in the acoustic industry. One of the key problems of current spatial
audio rendering methods is the lack of personalization based on different
anatomies of individuals, which is essential to produce accurate sound source
positions. In this work, we address this problem from an interdisciplinary
perspective. The rendering of spatial audio is strongly correlated with the 3D
shape of human bodies, particularly ears. To this end, we propose to achieve
personalized spatial audio by reconstructing 3D human ears with single-view
images. First, to benchmark the ear reconstruction task, we introduce
AudioEar3D, a high-quality 3D ear dataset consisting of 112 point cloud ear
scans with RGB images. To self-supervisedly train a reconstruction model, we
further collect a 2D ear dataset composed of 2,000 images, each one with manual
annotation of occlusion and 55 landmarks, named AudioEar2D. To our knowledge,
both datasets have the largest scale and best quality of their kinds for public
use. Further, we propose AudioEarM, a reconstruction method guided by a depth
estimation network that is trained on synthetic data, with two loss functions
tailored for ear data. Lastly, to fill the gap between the vision and acoustics
community, we develop a pipeline to integrate the reconstructed ear mesh with
an off-the-shelf 3D human body and simulate a personalized Head-Related
Transfer Function (HRTF), which is the core of spatial audio rendering. Code
and data are publicly available at https://github.com/seanywang0408/AudioEar.
- Abstract（参考訳）: 没入型3D音響レンダリングに焦点を当てた空間オーディオは、音響産業に広く応用されている。
現在の空間音響レンダリング手法の大きな問題の1つは、正確な音源位置を生成するのに不可欠である個人の異なる解剖に基づくパーソナライゼーションの欠如である。
本研究では,学際的な観点からこの問題に対処する。
空間音響の描画は、人体の3次元形状、特に耳と強く相関している。
そこで本研究では,人間の耳を1視点画像で再構成し,パーソナライズした空間オーディオを実現することを提案する。
まず,112点の雲耳スキャンとRGB画像からなる高品質な3D耳データセットであるAudioEar3Dを紹介する。
自己教師ありに復元モデルを訓練するため,我々はさらにaudioear2dという,手作業による咬合注記と55点のランドマークを持つ2,000の画像からなる2次元耳データセットを収集した。
我々の知る限り、両者のデータセットは、公共用途において最大のスケールと最高の品質を持っている。
さらに,耳データに適した2つの損失関数を持つ合成データに基づいて,深度推定ネットワークによって誘導される再構成手法であるAudioEarMを提案する。
最後に、視覚と音響のギャップを埋めるために、再構成された耳メッシュを市販の3D人体と統合し、空間オーディオレンダリングのコアとなるパーソナライズされた頭部関連伝達関数(HRTF)をシミュレートするパイプラインを開発する。
コードとデータはhttps://github.com/seanywang0408/audioearで公開されている。
関連論文リスト
- Sounding Bodies: Modeling 3D Spatial Sound of Humans Using Body Pose and
Audio [50.39279046238891]
人体全体に対して正確な3次元空間音声を生成できるモデルを提案する。
システムは入力として、ヘッドセットのマイクからの音声信号とボディポーズを消費する。
本モデルでは, 適切な損失を伴ってトレーニングした場合に, 精度の高い音場を生成できることが示される。
論文 参考訳（メタデータ） (2023-11-01T16:40:35Z) - Novel-View Acoustic Synthesis from 3D Reconstructed Rooms [18.49261985372842]
そこで本研究では,視覚障害者のための視覚障害者向け音声録音と3Dシーン情報を組み合わせることの利点について検討する。
音源の定位, 分離, 残響として, 新規な音像合成の課題を明らかにした。
3次元再構成された部屋から引き起こされた室間インパルス応答(RIR)を組み込むことで、同じネットワークがこれらの課題に共同で取り組むことができることを示す。
論文 参考訳（メタデータ） (2023-10-23T17:34:31Z) - Learning Spatial Features from Audio-Visual Correspondence in Egocentric
Videos [78.44407924853545]
本稿では,エゴセントリックビデオにおける空間的音声・視覚対応に基づく表現の自己教師付き学習法を提案する。
本手法では,マスク付き(マルチチャネル)音声を音声と視覚の相乗効果により合成するために,マスク付き自動符号化フレームワークを用いる。
論文 参考訳（メタデータ） (2023-07-10T17:58:17Z) - Listen2Scene: Interactive material-aware binaural sound propagation for
reconstructed 3D scenes [69.03289331433874]
仮想現実(VR)および拡張現実(AR)アプリケーションのためのエンドツーエンドオーディオレンダリング手法(Listen2Scene)を提案する。
実環境の3次元モデルに対する音響効果を生成するために,ニューラルネットを用いた新しい音響伝搬法を提案する。
論文 参考訳（メタデータ） (2023-02-02T04:09:23Z) - Learning to Separate Voices by Spatial Regions [5.483801693991577]
イヤホンや補聴器などの応用における音声分離の問題点を考察する。
比較的クリーンなパーソナライズされた信号を抽出するために、イヤホンからの過剰な音声を前処理する2段階の自己教師型フレームワークを提案する。
結果は、一般的な教師付きアプローチよりもパーソナライズの重要性を強調し、有望なパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-07-09T06:25:01Z) - Geometry-Aware Multi-Task Learning for Binaural Audio Generation from
Video [94.42811508809994]
本研究では,映像中の視覚情報に基づいてモノラル(単一チャンネル)音声を音声に変換する音声空間化手法を提案する。
既存の手法では,映像フレームから直接抽出した視覚的特徴を活用するが,この手法は視覚ストリームに存在する幾何学的手がかりを明示的に切り離し,学習過程を導出する。
論文 参考訳（メタデータ） (2021-11-21T19:26:45Z) - Points2Sound: From mono to binaural audio using 3D point cloud scenes [0.0]
我々は3Dポイントクラウドシーンを用いたモノラルオーディオからバージョンを生成するマルチモーダルディープラーニングモデルであるPoints2Soundを提案する。
その結果,3次元視覚情報により,合成作業のための多モード深層学習モデルを導出できることが示唆された。
論文 参考訳（メタデータ） (2021-04-26T10:44:01Z) - AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis [55.24336227884039]
高忠実な会話ヘッドビデオを生成するための新しいフレームワークを紹介します。
音声入力と映像出力のギャップを埋めるために,ニューラルシーン表現ネットワークを用いる。
本フレームワークは,(1)高い忠実度と自然な結果を生み出すことができ,(2)音声信号,視線方向,背景画像の自由な調整をサポートする。
論文 参考訳（メタデータ） (2021-03-20T02:58:13Z) - A Human Ear Reconstruction Autoencoder [19.72707659069644]
本研究の目的は、より微妙で難解な曲線と特徴が2次元の耳入力画像に現れる3次元耳再構成作業に取り組むことである。
我々のHuman Ear Reconstruction Autoencoder(HERA)システムは、これらのパラメータを監督することなく、3次元耳メッシュの3次元耳ポーズと形状パラメータを予測する。
構築したエンド・ツー・エンドの自己監督モデルについて,2次元ランドマークの定位性能と再構成された3次元耳の外観の両方で評価する。
論文 参考訳（メタデータ） (2020-10-07T12:52:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。