論文の概要: AVSegFormer: Audio-Visual Segmentation with Transformer

• arxiv url: http://arxiv.org/abs/2307.01146v1
• Date: Mon, 3 Jul 2023 16:37:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 12:22:01.275133
• Title: AVSegFormer: Audio-Visual Segmentation with Transformer
• Title（参考訳）: avsegformer:transformerによる視聴覚セグメンテーション
• Authors: Shengyi Gao, Zhe Chen, Guo Chen, Wenhai Wang, Tong Lu
• Abstract要約: ビデオ中の音声オブジェクトの特定とセグメント化を目的とした,AVS(Audio-visual segmentation)タスクが導入された。 このタスクは、初めてオーディオ駆動のピクセルレベルのシーン理解を必要とし、重大な課題を提起する。 本稿では,トランスフォーマーアーキテクチャを活用するAVSegFormerを提案する。
• 参考スコア（独自算出の注目度）: 23.276456212372615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The combination of audio and vision has long been a topic of interest in the multi-modal community. Recently, a new audio-visual segmentation (AVS) task has been introduced, aiming to locate and segment the sounding objects in a given video. This task demands audio-driven pixel-level scene understanding for the first time, posing significant challenges. In this paper, we propose AVSegFormer, a novel framework for AVS tasks that leverages the transformer architecture. Specifically, we introduce audio queries and learnable queries into the transformer decoder, enabling the network to selectively attend to interested visual features. Besides, we present an audio-visual mixer, which can dynamically adjust visual features by amplifying relevant and suppressing irrelevant spatial channels. Additionally, we devise an intermediate mask loss to enhance the supervision of the decoder, encouraging the network to produce more accurate intermediate predictions. Extensive experiments demonstrate that AVSegFormer achieves state-of-the-art results on the AVS benchmark. The code is available at https://github.com/vvvb-github/AVSegFormer.
• Abstract（参考訳）: オーディオと視覚の組み合わせは、長い間、マルチモーダルコミュニティにおける関心事であった。 近年,映像中の音源の特定とセグメント化を目的とした,音声視覚分割(AVS)タスクが導入されている。 このタスクは、初めて音声駆動のピクセルレベルのシーン理解を必要とする。 本稿では,トランスフォーマティブアーキテクチャを活用したavsタスクのための新しいフレームワークであるavsegformerを提案する。 具体的には、オーディオクエリと学習可能なクエリをtransformerデコーダに導入し、ネットワークが関心のある視覚機能に選択的に対応できるようにする。 また,無関係な空間チャネルを増幅・抑制することにより,視覚的な特徴を動的に調整できる視聴覚混合器を提案する。 さらに、デコーダの監視を強化するために中間マスク損失を考案し、より正確な中間予測を行うようネットワークに促す。 広範な実験により、avsegformerはavsベンチマークで最先端の結果を達成した。 コードはhttps://github.com/vvvb-github/AVSegFormerで入手できる。

関連論文リスト

• Stepping Stones: A Progressive Training Strategy for Audio-Visual Semantic Segmentation [7.124066540020968]
  AVSS (Audio-Visual Semantic) は映像中の音源の画素レベルのローカライゼーションを実現することを目的としており、AVSS (Audio-Visual Semantic) は音声視覚シーンの意味的理解を追求している。 従来の方法は、エンドツーエンドのトレーニングにおいて、このマッシュアップを扱うのに苦労しており、学習とサブ最適化が不十分である。 textitStepping Stonesと呼ばれる2段階のトレーニング戦略を提案し、AVSSタスクを2つの単純なサブタスクに分解する。
  論文  参考訳（メタデータ） (2024-07-16T15:08:30Z)
• Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language [77.33458847943528]
  DenseAVは、ビデオ視聴のみで高解像度、意味論的、音声視覚的に整合した特徴を学習する、新しいデュアルエンコーダ基盤アーキテクチャである。 そこで本研究では,DenseAVによる単語の「意味」と音の「位置」の特定が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2024-06-09T03:38:21Z)
• Weakly-Supervised Audio-Visual Segmentation [44.632423828359315]
  Weakly-Supervised Audio-Visual framework,すなわちWS-AVSを提案する。 AVSBenchの実験は、単一ソースおよびマルチソースシナリオの弱い教師付きオーディオ視覚セグメント化におけるWS-AVSの有効性を実証している。
  論文  参考訳（メタデータ） (2023-11-25T17:18:35Z)
• Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
  AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。 既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。 タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
  論文  参考訳（メタデータ） (2023-09-13T05:05:47Z)
• Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation [22.28510611697998]
  本稿では,この課題に対処するための新しいtextbfAudio-aware query-enhanced textbfTRansformer (AuTR) を提案する。 既存の手法とは異なり,本手法では,音声・視覚機能の深層融合と集約を可能にするマルチモーダルトランスフォーマーアーキテクチャを導入している。
  論文  参考訳（メタデータ） (2023-07-25T03:59:04Z)
• Transavs: End-To-End Audio-Visual Segmentation With Transformer [33.56539999875508]
  本稿では,トランスフォーマーをベースとしたオーディオ・ビジュアルタスクのためのエンドツーエンドフレームワークであるTransAVSを提案する。 TransAVSはオーディオストリームをオーディオクエリとして切り離し、画像と対話し、セグメンテーションマスクにデコードする。 実験の結果,TransAVS は AVSBench データセット上で最先端の結果を得ることができた。
  論文  参考訳（メタデータ） (2023-05-12T03:31:04Z)
• Vision Transformers are Parameter-Efficient Audio-Visual Learners [95.59258503297195]
  本稿では、事前学習したVTをオーディオ視覚タスクに適応させる潜在型オーディオ視覚ハイブリッド(LAVISH)アダプタを提案する。 提案手法は,様々な視覚的タスクにおいて,競争力や性能の向上を実現する。
  論文  参考訳（メタデータ） (2022-12-15T17:31:54Z)
• Audio-Visual Segmentation [47.10873917119006]
  本稿では,AVS(Audio-visual segmentation)と呼ばれる新しい課題について検討する。 ゴールは、画像フレームの時点で音を生成するオブジェクトのピクセルレベルのマップを出力することである。 本研究では,可聴ビデオにおける音声オブジェクトに対する画素単位のアノテーションを提供するAVSBench(Audio-visual segmentation benchmark)を構築した。
  論文  参考訳（メタデータ） (2022-07-11T17:50:36Z)
• AVATAR: Unconstrained Audiovisual Speech Recognition [75.17253531162608]
  本稿では,ASR TrAnsformeR (AVATAR) を用いて,スペクトルとフルフレームRGBからエンドツーエンドにトレーニングした新しいシーケンス・ツー・シーケンスASR TrAnsformeRを提案する。 本稿では,ハウ2 AV-ASR ベンチマークにおける視覚的モダリティの寄与を,特にシミュレートノイズの存在下で実証する。 また、我々はAV-ASRのための新しい実世界テストベッドVisSpeechを作成し、挑戦的な音声条件下での視覚的モダリティの寄与を実証した。
  論文  参考訳（メタデータ） (2022-06-15T17:33:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。