論文の概要: UAVM: A Unified Model for Audio-Visual Learning
- arxiv url: http://arxiv.org/abs/2208.00061v1
- Date: Fri, 29 Jul 2022 20:23:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 14:51:01.241863
- Title: UAVM: A Unified Model for Audio-Visual Learning
- Title(参考訳): UAVM: オーディオビジュアル学習のための統一モデル
- Authors: Yuan Gong, Alexander H. Liu, Andrew Rouditchenko, James Glass
- Abstract要約: 我々は、Unified Audio-Visual Model (UAVM) と呼ばれる、オーディオおよびビデオ処理のための統一モデルを設計する。
本稿では,UAVMについて述べるとともに,VGGSoundの65.8%の最先端オーディオ視覚事象分類精度を報告し,その興味深い特性について述べる。
- 参考スコア(独自算出の注目度): 76.92715124788302
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conventional audio-visual models have independent audio and video branches.
We design a unified model for audio and video processing called Unified
Audio-Visual Model (UAVM). In this paper, we describe UAVM, report its new
state-of-the-art audio-visual event classification accuracy of 65.8% on
VGGSound, and describe the intriguing properties of the model.
- Abstract(参考訳): 従来のオーディオヴィジュアルモデルは独立したオーディオとビデオのブランチを持つ。
我々は,Unified Audio-Visual Model (UAVM) と呼ばれる,オーディオ処理とビデオ処理の統一モデルを設計する。
本稿では,UAVMについて述べるとともに,VGGSoundの65.8%の最先端オーディオ視覚事象分類精度を報告し,その興味深い特性について述べる。
関連論文リスト
- AV-SUPERB: A Multi-Task Evaluation Benchmark for Audio-Visual
Representation Models [94.36745306051202]
AV-SUPERBベンチマークは,音声・視覚・バイモーダル融合表現の汎用的評価を可能にする。
我々は,最近の5つの自己教師型モデルを評価し,これらのモデルがすべてのタスクに一般化されないことを示す。
我々は,AudioSetを用いた中間タスクの微調整と音声イベント分類によって表現が改善されることを実証した。
論文 参考訳(メタデータ) (2023-09-19T17:35:16Z) - AudioFormer: Audio Transformer learns audio feature representations from
discrete acoustic codes [6.375996974877916]
離散音響符号の取得により音声特徴表現を学習するAudioFormerという手法を提案する。
以上の結果から,AudioFormerはモノモーダル音声分類モデルに比べて性能が大幅に向上したことが示された。
論文 参考訳(メタデータ) (2023-08-14T15:47:25Z) - A Closer Look at Audio-Visual Segmentation [19.628146028102027]
コスト効率と比較的偏りのない音声視覚的セマンティックセグメンテーションベンチマークを構築するための新しい戦略を提案する。
本稿では,新たな画素単位の音声・視覚コントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2023-04-06T09:54:06Z) - AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot
AV-ASR [79.21857972093332]
本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。
最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。
また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
論文 参考訳(メタデータ) (2023-03-29T07:24:28Z) - Fine-grained Audible Video Description [61.81122862375985]
FAVDBench(きめのきめ細かな映像記述ベンチマーク)を構築した。
各ビデオクリップについて、まずビデオの1文要約を行い、次に、視覚的詳細を記述した4~6文と、最後に1~2つの音声関連記述を示す。
細かなビデオ記述を利用することで、キャプションよりも複雑なビデオが作成できることを実証する。
論文 参考訳(メタデータ) (2023-03-27T22:03:48Z) - Object Segmentation with Audio Context [0.5243460995467893]
本プロジェクトは,ビデオインスタンスセグメンテーションタスクのためのマルチモーダル機能アグリゲーションについて検討する。
ビデオセグメンテーションモデルに音声機能を統合することで、音声視覚学習方式を実現する。
論文 参考訳(メタデータ) (2023-01-04T01:33:42Z) - MAViL: Masked Audio-Video Learners [68.61844803682145]
本研究では,masked Audio-Video Learningers (MAViL) を用いて映像表現の学習を行う。
MAViLによる事前トレーニングにより、音声視覚分類および検索タスクにおいて、モデルの性能が向上する。
自己監督型オーディオ視覚モデルが初めて、ベンチマークの外部監視を使用するモデルよりも優れています。
論文 参考訳(メタデータ) (2022-12-15T18:59:59Z) - Contrastive Audio-Visual Masked Autoencoder [85.53776628515561]
CAV-MAE(Contrastive Audio-Visual Masked Auto-Encoder)
我々の完全自己指導型CAV-MAEは、VGGSoundで65.9%の新しいSOTA精度を実現する。
論文 参考訳(メタデータ) (2022-10-02T07:29:57Z) - Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data [9.072124914105325]
本稿では、弱いラベル付きビデオ記録から音を認識することを学習するオーディオ視覚融合モデルを提案する。
大規模音響イベントデータセットであるAudioSetの実験は,提案モデルの有効性を実証する。
論文 参考訳(メタデータ) (2020-05-29T01:30:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。