論文の概要: Event2Audio: Event-Based Optical Vibration Sensing
- arxiv url: http://arxiv.org/abs/2507.03273v1
- Date: Fri, 04 Jul 2025 03:19:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.648813
- Title: Event2Audio: Event-Based Optical Vibration Sensing
- Title（参考訳）: Event2Audio:イベントベースの光振動センシング
- Authors: Mingxuan Cai, Dekel Galor, Amit Pal Singh Kohli, Jacob L. Yates, Laura Waller,
- Abstract要約: ビデオで観察される小さな振動は、音や材料特性など、視覚以外の情報を明らかにすることができる。
これらの振動を視覚的に知覚できるときに受動的に記録したり、知覚できないときにレーザービームによる視覚的寄与を積極的に増幅することができる。
我々は,高速な動きを効率よく捉えたイベントベースカメラを活用することにより,アクティブセンシングのアプローチを改善した。
- 参考スコア（独自算出の注目度）: 1.961937085008159
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Small vibrations observed in video can unveil information beyond what is visual, such as sound and material properties. It is possible to passively record these vibrations when they are visually perceptible, or actively amplify their visual contribution with a laser beam when they are not perceptible. In this paper, we improve upon the active sensing approach by leveraging event-based cameras, which are designed to efficiently capture fast motion. We demonstrate our method experimentally by recovering audio from vibrations, even for multiple simultaneous sources, and in the presence of environmental distortions. Our approach matches the state-of-the-art reconstruction quality at much faster speeds, approaching real-time processing.
- Abstract（参考訳）: ビデオで観察される小さな振動は、音や材料特性など、視覚以外の情報を明らかにすることができる。
これらの振動を視覚的に知覚できるときに受動的に記録したり、知覚できないときにレーザービームによる視覚的寄与を積極的に増幅することができる。
本稿では,高速な動きを効率よく捉えたイベントベースカメラを活用することにより,アクティブセンシングのアプローチを改善する。
本手法は,複数の同時音源においても振動から音声を復元し,環境歪みの存在下で実験的に実証する。
我々のアプローチは、最先端の再構築品質をはるかに高速にマッチングし、リアルタイム処理にアプローチする。
関連論文リスト
- EvMic: Event-based Non-contact sound recovery from effective spatial-temporal modeling [69.96729022219117]
音波が物体にぶつかると、高周波で微妙な視覚変化をもたらす振動を誘発する。
イベントカメラハードウェアの最近の進歩は、その視覚的聴覚回復への応用に有益であることを示している。
イベントストリームからの時空間情報を完全に活用した,非接触音の回復のための新しいパイプラインを提案する。
論文 参考訳（メタデータ） (2025-04-03T08:51:17Z) - Event-Based Motion Magnification [28.057537257958963]
イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。
この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。
両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
論文 参考訳（メタデータ） (2024-02-19T08:59:58Z) - Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。
Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
論文 参考訳（メタデータ） (2023-04-19T16:21:14Z) - Soundini: Sound-Guided Diffusion for Natural Video Editing [29.231939578629785]
ゼロショット設定で映像の特定の領域に音声誘導視覚効果を加える手法を提案する。
本研究は,音の特殊な特性を持つ様々な音源からの音声誘導自然な映像編集を初めて行ったものである。
論文 参考訳（メタデータ） (2023-04-13T20:56:53Z) - Egocentric Audio-Visual Object Localization [51.434212424829525]
本研究では,エゴモーションを明示的に処理する時空間アグリゲーションモジュールを提案する。
エゴモーションの効果は、時間的幾何変換を推定し、それを利用して視覚的表現を更新することによって緩和される。
視覚的に指示された音声表現をアンタングルすることで、モーダルな局所化の堅牢性を向上させる。
論文 参考訳（メタデータ） (2023-03-23T17:43:11Z) - Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization [13.144367063836597]
本稿では,音声活動の検出と局所化結果の堅牢性を実現するための,エンドツーエンドのディープラーニング手法を提案する。
実験の結果,提案手法はより優れた結果を与え,リアルタイムに動作可能であり,ノイズや乱れに対して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-01-06T05:40:16Z) - The Boombox: Visual Reconstruction from Acoustic Vibrations [29.72878526274187]
Boomboxは、音響振動を利用して内部内容のイメージを再構築するコンテナです。
低コストで低消費電力のコンタクトマイクを用いて振動を検知するが、マルチモーダルデータから学習することで、安価な音響センサをリッチな視覚センサに変換できることを示す。
論文 参考訳（メタデータ） (2021-05-17T17:58:41Z) - Cross-Task Transfer for Geotagged Audiovisual Aerial Scene Recognition [61.54648991466747]
映像と音を入力として用いた視覚的空中シーン認識タスクについて検討する。
航空シーン認識のための音声情報を活用する利点を示す。
論文 参考訳（メタデータ） (2020-05-18T04:14:16Z) - Audiovisual SlowFast Networks for Video Recognition [140.08143162600354]
本稿では,視聴覚統合アーキテクチャであるAudiovisual SlowFast Networksを紹介する。
複数の層に音声と視覚的特徴を融合させ,階層型音声視覚概念の形成に寄与する。
6つのビデオ行動分類と検出データセットの結果を報告し、詳細なアブレーション研究を行い、AVSlowFastの一般化を示し、自己監督型音声視覚特徴を学習する。
論文 参考訳（メタデータ） (2020-01-23T18:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。