論文の概要: Supervising Sound Localization by In-the-wild Egomotion

• arxiv url: http://arxiv.org/abs/2610.01388v1
• Date: Thu, 01 Oct 2026 09:52:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.043018
• Title: Supervising Sound Localization by In-the-wild Egomotion
• Title（参考訳）: In-the-wild Egomotion による音像定位の監視
• Abstract要約: 我々は、カメラの動きの視覚的推定と一致する音方向を予測するために、音響モデルを訓練する。 実世界のデータからモデルを学習し,音像定位処理に有効であることを示す。
• 参考スコア（独自算出の注目度）: 68.0881501429328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method for learning binaural sound localization using egomotion as a supervisory signal. Over the course of a video, the cameras direction to a sound source will change as the camera moves. We train an audio model to predict sound directions that are consistent with visual estimates of camera motion, which we obtain using traditional methods from multi-view geometry. This provides a weak but plentiful form of supervision that we combine with traditional binaural cues. To evaluate this method, we propose a dataset of real-world audio-visual videos with egomotion. We show that our model can successfully learn from real-world data and that it performs well on sound localization tasks
• Abstract（参考訳）: 本稿では,エゴモーションを監視信号として用いたバイノーラル音像定位学習手法を提案する。 ビデオの中では、カメラの音源への方向が変わり、カメラが動く。 我々は、カメラモーションの視覚的推定と整合した音方向を予測するために、音声モデルを訓練する。 これは、従来のバイノーラルな手がかりと組み合わせた、弱いが豊富な監督形態を提供する。 本手法を評価するために,エゴモーションを用いた実世界のオーディオ映像のデータセットを提案する。 我々のモデルは実世界のデータからうまく学習でき、音像定位タスクでうまく機能することを示します。

関連論文リスト

• Learning Spatial Features from Audio-Visual Correspondence in Egocentric Videos [69.79632907349489]
  本稿では,エゴセントリックビデオにおける空間的音声・視覚対応に基づく表現の自己教師付き学習法を提案する。 本手法では,マスク付き(マルチチャネル)音声を音声と視覚の相乗効果により合成するために,マスク付き自動符号化フレームワークを用いる。
  論文  参考訳（メタデータ） (2023-07-10T17:58:17Z)
• Egocentric Audio-Visual Object Localization [51.434212424829525]
  本研究では,エゴモーションを明示的に処理する時空間アグリゲーションモジュールを提案する。 エゴモーションの効果は、時間的幾何変換を推定し、それを利用して視覚的表現を更新することによって緩和される。 視覚的に指示された音声表現をアンタングルすることで、モーダルな局所化の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-03-23T17:43:11Z)
• Sound Localization from Motion: Jointly Learning Sound Direction and Camera Rotation [26.867430697990674]
  我々は、頭部を回転させると微妙だが幾何的に一貫した変化を起こす画像と音を使って、カメラの回転と音源の定位を推定する。 視覚モデルは、一対の画像からカメラの回転を予測し、音声モデルは、音源の方向を音から予測する。 これらのモデルをトレーニングして、互いに一致する予測を生成します。 本モデルでは, 実シーンと合成シーンの両方で回転を推定し, 最先端の自己監督手法と競合する精度で音源のローカライズを行う。
  論文  参考訳（メタデータ） (2023-03-20T17:59:55Z)
• Geometry-Aware Multi-Task Learning for Binaural Audio Generation from Video [94.42811508809994]
  本研究では,映像中の視覚情報に基づいてモノラル(単一チャンネル)音声を音声に変換する音声空間化手法を提案する。 既存の手法では,映像フレームから直接抽出した視覚的特徴を活用するが,この手法は視覚ストリームに存在する幾何学的手がかりを明示的に切り離し,学習過程を導出する。
  論文  参考訳（メタデータ） (2021-11-21T19:26:45Z)
• Exploiting Audio-Visual Consistency with Partial Supervision for Spatial Audio Generation [45.526051369551915]
  本論文では,モノラル映像を音声と視覚の要素間の関係を利用して変換するオーディオ空間化フレームワークを提案する。 ベンチマークデータセットに関する実験では,半教師ありシナリオと完全教師ありシナリオの両方において,提案フレームワークの有効性を確認した。
  論文  参考訳（メタデータ） (2021-05-03T09:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。