論文の概要: CATR: Combinatorial-Dependence Audio-Queried Transformer for
Audio-Visual Video Segmentation
- arxiv url: http://arxiv.org/abs/2309.09709v1
- Date: Mon, 18 Sep 2023 12:24:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 13:42:37.809266
- Title: CATR: Combinatorial-Dependence Audio-Queried Transformer for
Audio-Visual Video Segmentation
- Title（参考訳）: catr : 視覚映像セグメンテーションのための組合せ依存音声問合せトランスフォーマ
- Authors: Kexin Li, Zongxin Yang, Lei Chen, Yi Yang, Jun Xun
- Abstract要約: 音声視覚映像のセグメンテーションは、画像フレーム内の音生成対象のピクセルレベルのマップを生成することを目的としている。
本稿では,それぞれの時間的・空間的次元から音声と映像の特徴を結合した非結合型音声・映像依存性を提案する。
- 参考スコア（独自算出の注目度）: 37.40030898428435
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audio-visual video segmentation~(AVVS) aims to generate pixel-level maps of
sound-producing objects within image frames and ensure the maps faithfully
adhere to the given audio, such as identifying and segmenting a singing person
in a video. However, existing methods exhibit two limitations: 1) they address
video temporal features and audio-visual interactive features separately,
disregarding the inherent spatial-temporal dependence of combined audio and
video, and 2) they inadequately introduce audio constraints and object-level
information during the decoding stage, resulting in segmentation outcomes that
fail to comply with audio directives. To tackle these issues, we propose a
decoupled audio-video transformer that combines audio and video features from
their respective temporal and spatial dimensions, capturing their combined
dependence. To optimize memory consumption, we design a block, which, when
stacked, enables capturing audio-visual fine-grained combinatorial-dependence
in a memory-efficient manner. Additionally, we introduce audio-constrained
queries during the decoding phase. These queries contain rich object-level
information, ensuring the decoded mask adheres to the sounds. Experimental
results confirm our approach's effectiveness, with our framework achieving a
new SOTA performance on all three datasets using two backbones. The code is
available at \url{https://github.com/aspirinone/CATR.github.io}
- Abstract（参考訳）: AVVS (Audio-visual video segmentation) は、画像フレーム内の音声生成対象のピクセルレベルのマップを生成し、ビデオ内の歌唱者の識別やセグメント化など、所定のオーディオに忠実に忠実に固執することを目的としている。
しかし、既存の方法には2つの制限がある。
1)映像の時間的特徴と音声と視覚の対話的特徴を別々に扱い、音声と映像の組み合わせの空間的時間的依存性を無視し、
2) 復号段階では音声制約やオブジェクトレベルの情報が不十分であり, 音声指示に従わないセグメント化の結果が得られた。
そこで本稿では,これらの問題に対処するために,各時間的および空間的次元から音声と映像の機能を結合した,分離したオーディオビデオトランスフォーマを提案する。
メモリ消費を最適化するために、スタックすると、メモリ効率のよい方法で、視聴覚のきめ細かな組合せ依存性をキャプチャできるブロックを設計する。
さらに,復号段階での音声制約クエリも導入する。
これらのクエリにはリッチなオブジェクトレベルの情報が含まれており、デコードされたマスクが音に付着することを保証する。
実験により,2つのバックボーンを用いた3つのデータセットに対して,新たなSOTA性能を実現することにより,アプローチの有効性を確認した。
コードは \url{https://github.com/aspirinone/catr.github.io} で入手できる。
関連論文リスト
- BAVS: Bootstrapping Audio-Visual Segmentation by Integrating Foundation
Knowledge [43.92428145744478]
音声・視覚のセグメンテーションを行う2段階のブートストラップフレームワークを提案する。
第1段階では,視覚データから潜在的聴覚オブジェクトを局所化するためにセグメンテーションモデルを用いる。
第2段階では、音響-視覚的セマンティック統合戦略(AVIS)を開発し、音響-音響オブジェクトをローカライズする。
論文 参考訳（メタデータ） (2023-08-20T06:48:08Z) - Large-scale unsupervised audio pre-training for video-to-speech
synthesis [64.86087257004883]
音声合成は、話者の無声映像から音声信号を再構成する作業である。
本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。
次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
論文 参考訳（メタデータ） (2023-06-27T13:31:33Z) - Object Segmentation with Audio Context [0.5243460995467893]
本プロジェクトは,ビデオインスタンスセグメンテーションタスクのためのマルチモーダル機能アグリゲーションについて検討する。
ビデオセグメンテーションモデルに音声機能を統合することで、音声視覚学習方式を実現する。
論文 参考訳（メタデータ） (2023-01-04T01:33:42Z) - VarietySound: Timbre-Controllable Video to Sound Generation via
Unsupervised Information Disentanglement [68.42632589736881]
ビデオ入力と参照音声サンプルを与えられた特定の音色で発音する作業を行う。
この課題を解決するために,対象の音声を時間情報,音響情報,背景情報という3つの構成要素にまとめる。
提案手法は,ビデオ中のイベントと高音質の音声サンプルを生成し,参照音声と高音質の類似性を示す。
論文 参考訳（メタデータ） (2022-11-19T11:12:01Z) - AudioGen: Textually Guided Audio Generation [116.57006301417306]
記述文キャプションに条件付き音声サンプルを生成する問題に対処する。
本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
論文 参考訳（メタデータ） (2022-09-30T10:17:05Z) - Audio-Visual Segmentation [47.10873917119006]
本稿では,AVS(Audio-visual segmentation)と呼ばれる新しい課題について検討する。
ゴールは、画像フレームの時点で音を生成するオブジェクトのピクセルレベルのマップを出力することである。
本研究では,可聴ビデオにおける音声オブジェクトに対する画素単位のアノテーションを提供するAVSBench(Audio-visual segmentation benchmark)を構築した。
論文 参考訳（メタデータ） (2022-07-11T17:50:36Z) - Audio-based Near-Duplicate Video Retrieval with Audio Similarity
Learning [19.730467023817123]
ビデオペア間の音声類似性の時間的パターンを効果的にキャプチャするオーディオ類似性学習(AuSiL)手法を提案する。
我々は三重項生成プロセスに従ってネットワークをトレーニングし、三重項損失関数を最適化する。
提案手法は3つの最先端手法と比較して非常に競合的な結果が得られる。
論文 参考訳（メタデータ） (2020-10-17T08:12:18Z) - VGGSound: A Large-scale Audio-Visual Dataset [160.1604237188594]
オープンソースのメディアからオーディオデータセットを作成するために,スケーラブルなパイプラインを提案する。
このパイプラインを使用して、VGGSoundデータセットを310のオーディオクラス用に210万本以上のビデオでキュレートする。
得られたデータセットは、音声認識モデルのトレーニングと評価に使用することができる。
論文 参考訳（メタデータ） (2020-04-29T17:46:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。