論文の概要: Audio-Visual Segmentation

• arxiv url: http://arxiv.org/abs/2207.05042v1
• Date: Mon, 11 Jul 2022 17:50:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 16:25:50.442572
• Title: Audio-Visual Segmentation
• Title（参考訳）: 視聴覚セグメンテーション
• Authors: Jinxing Zhou, Jianyuan Wang, Jiayi Zhang, Weixuan Sun, Jing Zhang, Stan Birchfield, Dan Guo, Lingpeng Kong, Meng Wang, Yiran Zhong
• Abstract要約: 本稿では,AVS(Audio-visual segmentation)と呼ばれる新しい課題について検討する。 ゴールは、画像フレームの時点で音を生成するオブジェクトのピクセルレベルのマップを出力することである。 本研究では,可聴ビデオにおける音声オブジェクトに対する画素単位のアノテーションを提供するAVSBench(Audio-visual segmentation benchmark)を構築した。
• 参考スコア（独自算出の注目度）: 47.10873917119006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose to explore a new problem called audio-visual segmentation (AVS), in which the goal is to output a pixel-level map of the object(s) that produce sound at the time of the image frame. To facilitate this research, we construct the first audio-visual segmentation benchmark (AVSBench), providing pixel-wise annotations for the sounding objects in audible videos. Two settings are studied with this benchmark: 1) semi-supervised audio-visual segmentation with a single sound source and 2) fully-supervised audio-visual segmentation with multiple sound sources. To deal with the AVS problem, we propose a novel method that uses a temporal pixel-wise audio-visual interaction module to inject audio semantics as guidance for the visual segmentation process. We also design a regularization loss to encourage the audio-visual mapping during training. Quantitative and qualitative experiments on the AVSBench compare our approach to several existing methods from related tasks, demonstrating that the proposed method is promising for building a bridge between the audio and pixel-wise visual semantics. Code is available at https://github.com/OpenNLPLab/AVSBench.
• Abstract（参考訳）: そこで本研究では,画像フレームに音を発生させる物体のピクセルレベルマップを出力することを目的として,avs(audio-visual segmentation)と呼ばれる新しい問題を提案する。 そこで本研究では,可聴ビデオ中の音像に対する画素単位のアノテーションを提供する,最初の音声視覚分割ベンチマーク(AVSBench)を構築した。 このベンチマークでは2つの設定が研究されている。 1)単一音源を用いた半教師付き音声視覚セグメンテーション 2)複数音源を用いた全教師付き視聴覚セグメンテーション avs問題に対処するために,音声セマンティクスを視覚セグメンテーションプロセスのためのガイダンスとして,時間的画素単位の音声-視覚インタラクションモジュールを用いた新しい手法を提案する。 また、トレーニング中の音声視覚マッピングを促進するために、正規化損失を設計する。 avsbenchにおける定量的・定性的な実験は,提案手法と関連するタスクの既存の手法を比較し,提案手法が音声と画素方向の視覚意味論の橋渡しに有望であることを実証した。 コードはhttps://github.com/OpenNLPLab/AVSBenchで入手できる。

関連論文リスト

• From Vision to Audio and Beyond: A Unified Model for Audio-Visual Representation and Generation [17.95017332858846]
  本稿では,視覚表現学習と視覚音声生成のギャップを埋める新しいフレームワークであるVision to Audio and Beyond(VAB)を紹介する。 VABは、事前訓練されたオーディオトークンライザと画像エンコーダを使用して、それぞれ音声トークンと視覚的特徴を取得する。 実験では,ビデオから高品質な音声を生成するためのVABの効率と,セマンティック・オーディオ・視覚的特徴を習得する能力について紹介した。
  論文  参考訳（メタデータ） (2024-09-27T20:26:34Z)
• Stepping Stones: A Progressive Training Strategy for Audio-Visual Semantic Segmentation [7.124066540020968]
  AVSS (Audio-Visual Semantic) は映像中の音源の画素レベルのローカライゼーションを実現することを目的としており、AVSS (Audio-Visual Semantic) は音声視覚シーンの意味的理解を追求している。 従来の方法は、エンドツーエンドのトレーニングにおいて、このマッシュアップを扱うのに苦労しており、学習とサブ最適化が不十分である。 textitStepping Stonesと呼ばれる2段階のトレーニング戦略を提案し、AVSSタスクを2つの単純なサブタスクに分解する。
  論文  参考訳（メタデータ） (2024-07-16T15:08:30Z)
• Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language [77.33458847943528]
  DenseAVは、ビデオ視聴のみで高解像度、意味論的、音声視覚的に整合した特徴を学習する、新しいデュアルエンコーダ基盤アーキテクチャである。 そこで本研究では,DenseAVによる単語の「意味」と音の「位置」の特定が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2024-06-09T03:38:21Z)
• Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues [75.73217916395386]
  双方向ブリッジを用いた双方向オーディオ・ビジュアルデコーダ(BAVD)を提案する。 この相互作用はモダリティの不均衡を狭め、統合されたオーディオ視覚表現のより効果的な学習を促進する。 また,BAVDの微粒化誘導として,音声・視覚的フレームワイド同期のための戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-04T03:02:35Z)
• Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
  AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。 既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。 タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
  論文  参考訳（メタデータ） (2023-09-13T05:05:47Z)
• BAVS: Bootstrapping Audio-Visual Segmentation by Integrating Foundation Knowledge [43.92428145744478]
  音声・視覚のセグメンテーションを行う2段階のブートストラップフレームワークを提案する。 第1段階では,視覚データから潜在的聴覚オブジェクトを局所化するためにセグメンテーションモデルを用いる。 第2段階では、音響-視覚的セマンティック統合戦略(AVIS)を開発し、音響-音響オブジェクトをローカライズする。
  論文  参考訳（メタデータ） (2023-08-20T06:48:08Z)
• Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
  視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。 本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。 さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
  論文  参考訳（メタデータ） (2023-06-19T03:10:57Z)
• Transavs: End-To-End Audio-Visual Segmentation With Transformer [33.56539999875508]
  本稿では,トランスフォーマーをベースとしたオーディオ・ビジュアルタスクのためのエンドツーエンドフレームワークであるTransAVSを提案する。 TransAVSはオーディオストリームをオーディオクエリとして切り離し、画像と対話し、セグメンテーションマスクにデコードする。 実験の結果,TransAVS は AVSBench データセット上で最先端の結果を得ることができた。
  論文  参考訳（メタデータ） (2023-05-12T03:31:04Z)
• Audio-Visual Segmentation with Semantics [45.5917563087477]
  オーディオ・ビジュアル・セグメンテーション(AVS)と呼ばれる新しい問題を提案する。 ゴールは、画像フレームの時点で音を生成するオブジェクトのピクセルレベルのマップを出力することである。 AVSBench という,可聴ビデオ中のオブジェクトの音声に対する画素単位のアノテーションを提供する,最初の音声-視覚的セグメンテーションベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-01-30T18:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。