論文の概要: Hearing the Room Through the Shape of the Drum: Modal-Guided Sound Recovery from Multi-Point Surface Vibrations

• arxiv url: http://arxiv.org/abs/2604.26678v1
• Date: Wed, 29 Apr 2026 13:49:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.428018
• Title: Hearing the Room Through the Shape of the Drum: Modal-Guided Sound Recovery from Multi-Point Surface Vibrations
• Title（参考訳）: ドラムの形状を通して部屋を聴く:多点表面振動によるモーダル誘導音の回復
• Authors: Shai Bagon, Matan Kichler, Mark Sheinin,
• Abstract要約: 我々は、シーン音源と捕捉された多点振動を関連付ける物理誘導振動生成モデルを作成する。 次に、モデルは振動物体の共振伝達関数を反転させ、複数の振動信号を融合させてシーン内の元の音源を推定する。 我々は,様々な日常的物体から音を回収し,従来のシングルポイントスペックル・ビブロメトリーを著しく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 12.546773067894703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optical vibration sensing enables recovering the scene sound directly from the surface vibration of nearby objects, turning everyday objects into ``visual microphones''. However, most prior methods had focused on capturing the vibrations of specific objects with highly favorable vibration responses. These include objects where the surface vibrations are generated by the object itself (e.g., speaker membrane or guitar body) or objects consisting of a thin membrane which is highly reactive to sound (e.g., a chip bag or the leaf of a plant). In this paper, we tackle sound recovery for a more challenging class of solid objects whose vibration responses are poor or highly resonant. We simultaneously capture vibrations for multiple surface points on the object using a speckle-based vibrometry imaging system. Then, we derive a novel physics-guided vibration formation model that relates the scene sound source to the captured multi-point multi-axis vibrations via the object's vibrational modes. The model is then used to reverse the resonant transfer function of the vibrating object, fusing multiple vibration signals to estimate the original sound source in the scene. We evaluate our approach by recovering sound from a variety of everyday objects, demonstrating that it significantly outperforms traditional single-point speckle vibrometry in challenging scenarios and other signal-processing-based methods for multi-signal fusing.
• Abstract（参考訳）: 光振動センシングにより、周囲の物体の表面振動から直接シーン音を回復し、日常の物体を「視覚マイクロフォン」に変えることができる。 しかし、従来のほとんどの手法は、高い振動応答で特定の物体の振動を捉えることに重点を置いていた。 これには、物体自体(例えば、スピーカー膜やギター本体)によって表面振動が生じる物体や、音に高い反応の薄い膜(例えば、チップバッグや植物の葉)からなる物体が含まれる。 本稿では, 振動応答が貧弱, 高い共振性を有する固体物体に対して, より難易度の高い音の回復に挑戦する。 我々は、スペックルベースの振動計イメージングシステムを用いて、物体上の複数の表面点の振動を同時に捉えた。 そこで, 物体の振動モードを介し, シーン音源と捕捉した多点多軸振動を関連付ける物理誘導振動生成モデルを構築した。 次に、モデルは振動物体の共振伝達関数を反転させ、複数の振動信号を融合させてシーン内の元の音源を推定する。 我々は,様々な日常的物体から音を回収し,従来のシングルポイントスペックル・ビブロメトリーを,難解なシナリオや信号処理に基づく多信号拡散法で著しく上回っていることを示す。

関連論文リスト

• Sound of Touch: Active Acoustic Tactile Sensing via String Vibrations [10.834682105378269]
  Sound of Touch(サウンド・オブ・タッチ)は、振動する張力のある弦を感知要素として利用する、アクティブな触覚センシング手法である。 我々は,接触位置と力移動振動モードの予測を行う物理ベースの弦振動シミュレータを導出する。 実験では、ミリスケールの局所化、信頼性の高い力推定、リアルタイムスリップ検出が実証された。
  論文  参考訳（メタデータ） (2026-02-18T20:18:40Z)
• Vibro-Sense: Robust Vibration-based Impulse Response Localization and Trajectory Tracking for Robotic Hands [0.5500249707065662]
  高度な接触認識はロボット操作には不可欠だが、従来の触覚スキンは高価で複雑である。 本稿では,ビブロ音響センサを用いた高精度全体タッチ位置決め方式を提案する。
  論文  参考訳（メタデータ） (2026-01-28T12:49:39Z)
• MOSPA: Human Motion Generation Driven by Spatial Audio [83.31594478750682]
  本稿では,多種多様で高品質な空間音声・動きデータを含む,空間音声駆動型人体運動データセットについて紹介する。 本研究では,身体運動と空間音声の関係を忠実に把握する,MOSPAと呼ばれるスパティアルオーディオによって駆動される人間の運動生成のためのフレームワークを開発する。 本手法は,本課題における最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-07-16T06:33:11Z)
• Event2Audio: Event-Based Optical Vibration Sensing [1.961937085008159]
  ビデオで観察される小さな振動は、音や材料特性など、視覚以外の情報を明らかにすることができる。 これらの振動を視覚的に知覚できるときに受動的に記録したり、知覚できないときにレーザービームによる視覚的寄与を積極的に増幅することができる。 我々は,高速な動きを効率よく捉えたイベントベースカメラを活用することにより,アクティブセンシングのアプローチを改善した。
  論文  参考訳（メタデータ） (2025-07-04T03:19:18Z)
• EvMic: Event-based Non-contact sound recovery from effective spatial-temporal modeling [69.96729022219117]
  音波が物体にぶつかると、高周波で微妙な視覚変化をもたらす振動を誘発する。 イベントカメラハードウェアの最近の進歩は、その視覚的聴覚回復への応用に有益であることを示している。 イベントストリームからの時空間情報を完全に活用した,非接触音の回復のための新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-04-03T08:51:17Z)
• Structural Vibration Signal Denoising Using Stacking Ensemble of Hybrid CNN-RNN [0.0]
  近年,生物工学の分野では振動信号の利用が増加している。 足音による振動は、人体や動物などの生体系の運動を分析するのに有用である。 本稿では,複数信号のアンサンブルと,再帰的および畳み込み型ニューラルネットワーク予測の両方を活用する新しいアンサンブルモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-11T00:49:45Z)
• Finding Fallen Objects Via Asynchronous Audio-Visual Integration [89.75296559813437]
  本稿では,3次元仮想環境におけるマルチモーダルオブジェクトのローカライゼーションについて検討する。 カメラとマイクを装備したロボットエージェントは、音声と視覚信号を基礎となる物理学の知識と組み合わせることで、どの物体が落下したか(そしてどこにあるか)を判断しなければならない。 このデータセットは、物理ベースの衝撃音と、フォトリアリスティックな設定でオブジェクト間の複雑な物理的相互作用をシミュレートする3DWorldプラットフォームを使用している。
  論文  参考訳（メタデータ） (2022-07-07T17:59:59Z)
• Class-aware Sounding Objects Localization via Audiovisual Correspondence [51.39872698365446]
  複雑な視覚的シナリオにおける音像の局所化と認識を行うための2段階の学習フレームワークを提案する。 我々は、カクテルパーティーのシナリオでクラス認識オブジェクトのローカライズマップを生成し、サイレントエリアの抑制にオーディオ視覚対応を使用する。 実写ビデオと合成ビデオの両方の実験では、オブジェクトのローカライズと認識だけでなく、サイレントビデオのフィルタリングにも優れていることが示されている。
  論文  参考訳（メタデータ） (2021-12-22T09:34:33Z)
• Visual Vibration Tomography: Estimating Interior Material Properties from Monocular Video [66.94502090429806]
  物体の内部の物質特性は、人間の目には見えないが、表面で観察される動きを決定する。 本研究では,物体の表面振動の単分子ビデオから物体の異種材料特性を推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-06T18:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。