Fugu-MT 論文翻訳(概要): Cooperation Does Matter: Exploring Multi-Order Bilateral Relations for Audio-Visual Segmentation

論文の概要: Cooperation Does Matter: Exploring Multi-Order Bilateral Relations for Audio-Visual Segmentation

arxiv url: http://arxiv.org/abs/2312.06462v2
Date: Sun, 7 Apr 2024 14:05:53 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 01:56:13.360135
Title: Cooperation Does Matter: Exploring Multi-Order Bilateral Relations for Audio-Visual Segmentation
Title（参考訳）: 協調が重要である: オーディオ・ビジュアル・セグメンテーションのための多階バイラテラル関係を探る
Authors: Qi Yang, Xing Nie, Tong Li, Pengfei Gao, Ying Guo, Cheng Zhen, Pengfei Yan, Shiming Xiang,
Abstract要約: マルチオーダーバイラテラルレラティオンの協調のための頭字語であるCOMBOを提案する。 AVS内における3種類の左右の絡み合い(画素の絡み合い、モダリティの絡み合い、時間的絡み合い)を初めて検討した。 AVSBench-objectとAVSBench-semanticデータセットの実験とアブレーション研究は、COMBOが従来の最先端の手法を上回ることを示した。
参考スコア（独自算出の注目度）: 26.85397648493918
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, an audio-visual segmentation (AVS) task has been introduced, aiming to group pixels with sounding objects within a given video. This task necessitates a first-ever audio-driven pixel-level understanding of the scene, posing significant challenges. In this paper, we propose an innovative audio-visual transformer framework, termed COMBO, an acronym for COoperation of Multi-order Bilateral relatiOns. For the first time, our framework explores three types of bilateral entanglements within AVS: pixel entanglement, modality entanglement, and temporal entanglement. Regarding pixel entanglement, we employ a Siam-Encoder Module (SEM) that leverages prior knowledge to generate more precise visual features from the foundational model. For modality entanglement, we design a Bilateral-Fusion Module (BFM), enabling COMBO to align corresponding visual and auditory signals bi-directionally. As for temporal entanglement, we introduce an innovative adaptive inter-frame consistency loss according to the inherent rules of temporal. Comprehensive experiments and ablation studies on AVSBench-object (84.7 mIoU on S4, 59.2 mIou on MS3) and AVSBench-semantic (42.1 mIoU on AVSS) datasets demonstrate that COMBO surpasses previous state-of-the-art methods. Code and more results will be publicly available at https://yannqi.github.io/AVS-COMBO/.
Abstract（参考訳）: 近年,ビデオ内の音声オブジェクトと画素をグループ化することを目的としたAVSタスクが導入されている。このタスクは、初めてオーディオ駆動のピクセルレベルのシーン理解を必要とし、重大な課題を提起する。本稿では,マルチオーダーバイラテラティオンの協調の頭字語であるCOMBO(COMBO)という,革新的なオーディオ・ビジュアル・トランスフォーマフレームワークを提案する。 AVS内における3種類の左右の絡み合い(画素の絡み合い、モダリティの絡み合い、時間的絡み合い)を初めて検討した。画素の絡み合わせについては,先行知識を利用して基礎モデルからより正確な視覚的特徴を生成するSiam-Encoder Module (SEM) を用いる。両面融合モジュール (BFM) を設計し, COMBOによる両方向の視覚信号と聴覚信号の整列を可能にする。時間的絡み合いについては、時間的固有の規則に従って、革新的適応的なフレーム間整合損失を導入する。 AVSBench-object (84.7 mIoU on S4, 59.2 mIou on MS3) および AVSBench-semantic (42.1 mIoU on AVSS) データセットに関する総合的な実験とアブレーション研究により、COMBOが従来の最先端手法を超越していることが示されている。コードやその他の結果はhttps://yannqi.github.io/AVS-COMBO/.com/で公開される。

関連論文リスト

Extending Segment Anything Model into Auditory and Temporal Dimensions for Audio-Visual Segmentation [17.123212921673176]
本稿では,SAMのエンコーダとマスクデコーダの中間部分に組み込まれた時空間バイビジュアルアテンション(ST-B)モジュールを提案する。ビデオフレームとオーディオストリーム間の時間的対応を伝達するために、オーディオ視覚機能を適応的に更新する。提案手法は, AVSベンチマークの最先端手法, 特に8.3% mIoU が, 挑戦的なマルチソースサブセットよりも優れている。
論文参考訳（メタデータ） (2024-06-10T10:53:23Z)
Unsupervised Audio-Visual Segmentation with Modality Alignment [42.613786372067814]
Audio-Visualは、特定の音を生成する視覚シーンのオブジェクトをピクセルレベルで識別することを目的としている。現在のAVSメソッドは、コストのかかるマスクとオーディオのペアの細かいアノテーションに依存しているため、スケーラビリティには実用的ではない。そこで本研究では,モダリティ対応アライメント(MoCA)と呼ばれる教師なし学習手法を提案する。
論文参考訳（メタデータ） (2024-03-21T07:56:09Z)
Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
論文参考訳（メタデータ） (2023-09-13T05:05:47Z)
Referred by Multi-Modality: A Unified Temporal Transformer for Video Object Segmentation [54.58405154065508]
ビデオオブジェクトセグメンテーションの参照のためのマルチモーダル統一時間変換器を提案する。 MUTRは、初めて統合されたフレームワークにより、DETRスタイルのトランスフォーマーを採用し、テキストまたはオーディオ参照によって指定されたビデオオブジェクトをセグメント化することができる。変換器以降の高レベルの時間的相互作用に対して,異なるオブジェクト埋め込みのためのフレーム間特徴通信を行い,ビデオに沿って追跡するためのオブジェクトワイズ対応の改善に寄与する。
論文参考訳（メタデータ） (2023-05-25T17:59:47Z)
ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities [71.15303690248021]
ONE-PEACEは、4Bパラメータを持つ高モデルで、視覚、オーディオ、言語モダリティ間の表現をシームレスに整列し統合することができる。 ONE-PEACEのアーキテクチャは、モダリティアダプタ、共有自己アテンション層、およびモダリティFFNからなる。スケーラビリティに優しいアーキテクチャと事前トレーニングタスクにより、ONE-PEACEは無制限のモダリティに拡張する可能性がある。
論文参考訳（メタデータ） (2023-05-18T17:59:06Z)
Audio-Visual Segmentation with Semantics [45.5917563087477]
オーディオ・ビジュアル・セグメンテーション(AVS)と呼ばれる新しい問題を提案する。ゴールは、画像フレームの時点で音を生成するオブジェクトのピクセルレベルのマップを出力することである。 AVSBench という,可聴ビデオ中のオブジェクトの音声に対する画素単位のアノテーションを提供する,最初の音声-視覚的セグメンテーションベンチマークを構築した。
論文参考訳（メタデータ） (2023-01-30T18:53:32Z)
Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
論文参考訳（メタデータ） (2022-03-29T05:52:23Z)
A Unified Transformer Framework for Group-based Segmentation: Co-Segmentation, Co-Saliency Detection and Video Salient Object Detection [59.21990697929617]
人間は、ダイナミックな世界に住んでいるので、画像のグループやビデオのフレームから学ぶことによってオブジェクトをマイニングする傾向があります。従来のアプローチでは、類似したタスクで異なるネットワークを個別に設計するが、互いに適用するのは困難である。 UFO(UnifiedObject Framework for Co-Object Framework)という,これらの問題に対処するための統一フレームワークを導入する。
論文参考訳（メタデータ） (2022-03-09T13:35:19Z)
AudioVisual Video Summarization [103.47766795086206]
ビデオ要約では、既存のアプローチは音声情報を無視しながら視覚情報を利用するだけだ。本稿では,映像要約作業における音声情報と視覚情報を協調的に活用し,これを実現するためにAVRN(AudioVisual Recurrent Network)を開発することを提案する。
論文参考訳（メタデータ） (2021-05-17T08:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。