論文の概要: Overview of the L3DAS23 Challenge on Audio-Visual Extended Reality

• arxiv url: http://arxiv.org/abs/2402.09245v1
• Date: Wed, 14 Feb 2024 15:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 14:56:27.281090
• Title: Overview of the L3DAS23 Challenge on Audio-Visual Extended Reality
• Title（参考訳）: L3DAS23による映像拡張現実感の課題の概要
• Authors: Christian Marinoni, Riccardo Fosco Gramaccioni, Changan Chen, Aurelio Uncini, Danilo Comminiello
• Abstract要約: L3DAS23 Signal Processing Grand Challenge at ICASSP 2023の主な目標は、3Dオーディオ信号処理のための機械学習に関する共同研究の促進と支援である。 我々は、L3DAS21とL3DAS22のデータセットと同じ一般的な特性を維持する新しいデータセットを提供する。 両タスクのベースラインモデルを更新し,音声画像のカップルを入力としてサポートし,その結果を再現するサポートAPIを提案する。
• 参考スコア（独自算出の注目度）: 15.034352805342937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The primary goal of the L3DAS23 Signal Processing Grand Challenge at ICASSP 2023 is to promote and support collaborative research on machine learning for 3D audio signal processing, with a specific emphasis on 3D speech enhancement and 3D Sound Event Localization and Detection in Extended Reality applications. As part of our latest competition, we provide a brand-new dataset, which maintains the same general characteristics of the L3DAS21 and L3DAS22 datasets, but with first-order Ambisonics recordings from multiple reverberant simulated environments. Moreover, we start exploring an audio-visual scenario by providing images of these environments, as perceived by the different microphone positions and orientations. We also propose updated baseline models for both tasks that can now support audio-image couples as input and a supporting API to replicate our results. Finally, we present the results of the participants. Further details about the challenge are available at https://www.l3das.com/icassp2023.
• Abstract（参考訳）: L3DAS23 Signal Processing Grand Challenge at ICASSP 2023の主な目標は、3D音声信号処理における機械学習の協調研究の促進と支援である。 最新のコンペの一環として、L3DAS21とL3DAS22のデータセットと同じ一般的な特性を維持する新しいデータセットを提供しています。 さらに,マイクロホンの位置や方向によって認識される環境の画像を提供することにより,視聴覚シナリオの探索を開始する。 両タスクのベースラインモデルも更新し,音声画像のカップルを入力としてサポートし,その結果を再現するサポートAPIも提案する。 最後に,参加者の結果について述べる。 チャレンジの詳細はhttps://www.l3das.com/icassp2023で確認できる。

関連論文リスト

• 3D Audio-Visual Segmentation [44.61476023587931]
  ロボット工学やAR/VR/MRに様々な応用がある。 本稿では,事前学習した2次元オーディオ視覚基盤モデルから,使用可能な知識を統合することで特徴付ける新しいアプローチであるEchoSegnetを提案する。 実験により、EchoSegnetは、私たちの新しいベンチマークで、3D空間の音声オブジェクトを効果的にセグメント化できることが実証された。
  論文  参考訳（メタデータ） (2024-11-04T16:30:14Z)
• Meerkat: Audio-Visual Large Language Model for Grounding in Space and Time [73.7845280328535]
  本稿では、画像と音声のきめ細かい理解を備えた音声視覚LLMであるMeerkatを紹介する。 Meerkatは、音声参照画像の接地、画像案内音声の時間的局所化、音声-視覚的事実チェックといった課題に取り組むことができる。 我々は、これらの下流タスクすべてにおいて、37.12%の相対的な改善で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-01T23:32:25Z)
• Novel-View Acoustic Synthesis from 3D Reconstructed Rooms [17.72902700567848]
  そこで本研究では,視覚障害者のための視覚障害者向け音声録音と3Dシーン情報を組み合わせることの利点について検討する。 音源の定位, 分離, 残響として, 新規な音像合成の課題を明らかにした。 3次元再構成された部屋から引き起こされた室間インパルス応答(RIR)を組み込むことで、同じネットワークがこれらの課題に共同で取り組むことができることを示す。
  論文  参考訳（メタデータ） (2023-10-23T17:34:31Z)
• Team AcieLee: Technical Report for EPIC-SOUNDS Audio-Based Interaction Recognition Challenge 2023 [8.699868810184752]
  タスクは、オブジェクト間の相互作用やカメラ装着者のイベントによって引き起こされるオーディオを分類することである。 その結果, 学習速度の低下, 背骨凍結, ラベルの平滑化, 焦点損失は, 性能改善に大きく寄与することがわかった。 提案手法により,EPIC-SOUNDS音声ベースインタラクション認識チャレンジのCVPR 2023ワークショップにおいて,第3位を達成できた。
  論文  参考訳（メタデータ） (2023-06-15T09:49:07Z)
• AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene Synthesis [61.07542274267568]
  我々は,マルチモーダル学習のための,現実の映像シーン合成という新たな課題と,その一級のNeRFベースのアプローチについて検討する。 音声伝搬の事前知識をNeRFに統合する音響認識型音声生成モジュールを提案する。 本稿では,音源に対する視野方向を表す座標変換モジュールを提案する。
  論文  参考訳（メタデータ） (2023-02-04T04:17:19Z)
• SoundSpaces 2.0: A Simulation Platform for Visual-Acoustic Learning [127.1119359047849]
  SoundSpaces 2.0は3D環境のためのオンザフライ幾何ベースのオーディオレンダリングのためのプラットフォームである。 任意のマイク位置から取得した任意の音に対して、非常にリアルな音響を生成する。 SoundSpaces 2.0は、視聴と聴取の両方が可能な知覚システムのより広範な研究を促進するために公開されている。
  論文  参考訳（メタデータ） (2022-06-16T17:17:44Z)
• DSGN++: Exploiting Visual-Spatial Relation forStereo-based 3D Detectors [60.88824519770208]
  カメラベースの3Dオブジェクト検出器は、LiDARセンサーよりも広い展開と低価格のため歓迎されている。 我々は3次元幾何学と意味論の両方を表現するステレオボリューム構造について、以前のステレオモデリングDSGNを再考する。 本稿では,2次元から3次元のパイプラインを通しての情報フローを改善することを目的としたDSGN++を提案する。
  論文  参考訳（メタデータ） (2022-04-06T18:43:54Z)
• L3DAS22 Challenge: Learning 3D Audio Sources in a Real Office Environment [12.480610577162478]
  L3DAS22 Challengeは、3D音声強調と3D音像定位と検出のための機械学習戦略の開発を促進することを目的としている。 この課題はL3DAS21エディションのタスクを改善し拡張する。
  論文  参考訳（メタデータ） (2022-02-21T17:05:39Z)
• L3DAS21 Challenge: Machine Learning for 3D Audio Signal Processing [6.521891605165917]
  L3DAS21チャレンジは、3Dオーディオ信号処理のための機械学習に関する共同研究の促進と促進を目的としています。 65時間の3DオーディオコーパスであるL3DAS21データセットを,データ使用と結果の提出を容易化するPython APIとともにリリースした。
  論文  参考訳（メタデータ） (2021-04-12T14:29:54Z)
• Learning to Set Waypoints for Audio-Visual Navigation [89.42192208471735]
  音声視覚ナビゲーションでは、エージェントが視覚と音の両方を使って複雑な3D環境をインテリジェントに移動し、音源を見つける。 既存のモデルは、エージェント動作の一定の粒度で動作することを学び、オーディオ観測の単純な再帰的な集約に依存する。 本稿では,2つの重要な要素を持つ音声視覚ナビゲーションに対する強化学習手法を提案する。
  論文  参考訳（メタデータ） (2020-08-21T18:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。