論文の概要: Audio-Visual Segmentation via Unlabeled Frame Exploitation

• arxiv url: http://arxiv.org/abs/2403.11074v1
• Date: Sun, 17 Mar 2024 03:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 20:17:05.959792
• Title: Audio-Visual Segmentation via Unlabeled Frame Exploitation
• Title（参考訳）: 未ラベルフレーム爆発によるオーディオ・ビジュアル・セグメンテーション
• Authors: Jinxiang Liu, Yikun Liu, Fei Zhang, Chen Ju, Ya Zhang, Yanfeng Wang,
• Abstract要約: オーディオ・ビジュアル・セグメンテーション(AVS)における未ラベルフレームの可能性について検討する。 本稿では,それらの特徴を考慮し,AVSの取組に効果的に活用する多目的フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 32.765226400824034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual segmentation (AVS) aims to segment the sounding objects in video frames. Although great progress has been witnessed, we experimentally reveal that current methods reach marginal performance gain within the use of the unlabeled frames, leading to the underutilization issue. To fully explore the potential of the unlabeled frames for AVS, we explicitly divide them into two categories based on their temporal characteristics, i.e., neighboring frame (NF) and distant frame (DF). NFs, temporally adjacent to the labeled frame, often contain rich motion information that assists in the accurate localization of sounding objects. Contrary to NFs, DFs have long temporal distances from the labeled frame, which share semantic-similar objects with appearance variations. Considering their unique characteristics, we propose a versatile framework that effectively leverages them to tackle AVS. Specifically, for NFs, we exploit the motion cues as the dynamic guidance to improve the objectness localization. Besides, we exploit the semantic cues in DFs by treating them as valid augmentations to the labeled frames, which are then used to enrich data diversity in a self-training manner. Extensive experimental results demonstrate the versatility and superiority of our method, unleashing the power of the abundant unlabeled frames.
• Abstract（参考訳）: AVS (Audio-visual segmentation) は、音声を映像フレームに分割することを目的としている。 大幅な進歩が見られたが、未使用フレームの使用において、現在の手法が限界性能に到達していることが実験的に明らかとなり、未使用化問題に繋がる。 AVSの未ラベルフレームの可能性について,その時間的特徴,すなわち隣接フレーム(NF)と遠フレーム(DF)に基づいて,明確に2つのカテゴリに分けた。 ラベル付きフレームに時間的に隣接しているNFは、しばしば、音像の正確な位置決めを支援するリッチな動き情報を含む。 NFとは対照的に、DFはラベル付きフレームと長い時間的距離を持ち、外観の変化を伴う意味的類似オブジェクトを共有する。 本稿では,それらの特徴を考慮し,AVSの取組に効果的に活用する多目的フレームワークを提案する。 具体的には、NFに対して、動的ガイダンスとして動きの手がかりを活用して、オブジェクトネスのローカライゼーションを改善する。 さらに、DFのセマンティック・キューをラベル付きフレームに対する有効な拡張として扱い、データ多様性を自己学習的に強化する。 大規模な実験結果から,本手法の汎用性と優位性を実証し,豊富な未ラベルフレームのパワーを解放した。

関連論文リスト

• Coarse-to-Fine Proposal Refinement Framework for Audio Temporal Forgery Detection and Localization [60.899082019130766]
  本稿では、フレームレベル検出ネットワーク(FDN)と、音声の時間的偽造検出とローカライゼーションのための改良ネットワーク(PRN)を提案する。 FDNは、偽のフレーム間で情報的不整合の手がかりを抽出し、偽の領域を大まかに示すのに有用な識別的特徴を得る。 PRNは、FDNから派生した粗粒度の提案を洗練するために、信頼スコアと回帰オフセットを予測する責任がある。
  論文  参考訳（メタデータ） (2024-07-23T15:07:52Z)
• SSVOD: Semi-Supervised Video Object Detection with Sparse Annotations [12.139451002212063]
  SSVODはビデオのモーションダイナミクスを利用して、スパースアノテーション付き大規模未ラベルフレームを利用する。 提案手法は,ImageNet-VID, Epic-KITCHENS, YouTube-VISの既存手法に比べて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-09-04T06:41:33Z)
• Implicit Temporal Modeling with Learnable Alignment for Video Recognition [95.82093301212964]
  本稿では,極めて高い性能を達成しつつ,時間的モデリングの労力を最小限に抑える新しいImplicit Learnable Alignment(ILA)法を提案する。 ILAはKineetics-400の88.7%で、Swin-LやViViT-Hに比べてFLOPははるかに少ない。
  論文  参考訳（メタデータ） (2023-04-20T17:11:01Z)
• Alignment-guided Temporal Attention for Video Action Recognition [18.5171795689609]
  フレームごとのアライメントは、フレーム表現間の相互情報を増大させる可能性があることを示す。 隣接フレーム間のパラメータフリーパッチレベルのアライメントで1次元の時間的注意を延長するためのアライメント誘導時間注意(ATA)を提案する。
  論文  参考訳（メタデータ） (2022-09-30T23:10:47Z)
• Temporal Transductive Inference for Few-Shot Video Object Segmentation [27.140141181513425]
  Few-shot Object segmentation (FS-VOS) は、初期訓練中に見えないクラスのラベル付き例を用いて、ビデオフレームのセグメンテーションを目的としている。 我々のアプローチの鍵は、グローバルな時間的制約とローカルな時間的制約の両方を使用することである。 経験的に、我々のモデルは、YouTube-VIS上の組合間の平均交点を2.8%上回る、最先端のメタラーニングアプローチより優れている。
  論文  参考訳（メタデータ） (2022-03-27T14:08:30Z)
• Flow-Guided Sparse Transformer for Video Deblurring [124.11022871999423]
  FlowGuided Sparse Transformer (F GST) はビデオデブリのためのフレームワークである。 FGSW-MSAは、推定光流のガイダンスを楽しみ、隣り合うフレームの同じシーンパッチに対応する、空間的にスパースな要素を世界中にサンプリングする。 提案するFGSTは,DVDおよびGOPROデータセットの最先端パッチよりも優れており,実際のビデオの劣化に対して,より視覚的に満足な結果が得られる。
  論文  参考訳（メタデータ） (2022-01-06T02:05:32Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Inter-class Discrepancy Alignment for Face Recognition [55.578063356210144]
  IA(Inter-class DiscrepancyAlignment)という統合フレームワークを提案する。 IDA-DAOは、画像と隣人の相違を考慮した類似度スコアの整合に使用される。 IDA-SSEは、GANで生成された仮想候補画像を導入することで、説得力のあるクラス間隣人を提供できます。
  論文  参考訳（メタデータ） (2021-03-02T08:20:08Z)
• SF-Net: Single-Frame Supervision for Temporal Action Localization [60.202516362976645]
  単一フレームの監視は、低いアノテーションのオーバーヘッドを維持しながら、追加の時間的アクション信号を導入します。 本研究では,SF-Netと呼ばれる単一フレーム監視システムを提案する。 SF-Netは、セグメントローカライゼーションと単一フレームローカライゼーションの両方の観点から、最先端の弱い教師付き手法を大幅に改善する。
  論文  参考訳（メタデータ） (2020-03-15T15:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。