Fugu-MT 論文翻訳(概要): UAVM: A Unified Model for Audio-Visual Learning

論文の概要: UAVM: A Unified Model for Audio-Visual Learning

arxiv url: http://arxiv.org/abs/2208.00061v1
Date: Fri, 29 Jul 2022 20:23:16 GMT
ステータス: 処理完了
システム内更新日: 2022-08-02 14:51:01.241863
Title: UAVM: A Unified Model for Audio-Visual Learning
Title（参考訳）: UAVM: オーディオビジュアル学習のための統一モデル
Authors: Yuan Gong, Alexander H. Liu, Andrew Rouditchenko, James Glass
Abstract要約: 我々は、Unified Audio-Visual Model (UAVM) と呼ばれる、オーディオおよびビデオ処理のための統一モデルを設計する。本稿では,UAVMについて述べるとともに,VGGSoundの65.8%の最先端オーディオ視覚事象分類精度を報告し,その興味深い特性について述べる。
参考スコア（独自算出の注目度）: 76.92715124788302
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Conventional audio-visual models have independent audio and video branches. We design a unified model for audio and video processing called Unified Audio-Visual Model (UAVM). In this paper, we describe UAVM, report its new state-of-the-art audio-visual event classification accuracy of 65.8% on VGGSound, and describe the intriguing properties of the model.
Abstract（参考訳）: 従来のオーディオヴィジュアルモデルは独立したオーディオとビデオのブランチを持つ。我々は,Unified Audio-Visual Model (UAVM) と呼ばれる,オーディオ処理とビデオ処理の統一モデルを設計する。本稿では,UAVMについて述べるとともに,VGGSoundの65.8%の最先端オーディオ視覚事象分類精度を報告し,その興味深い特性について述べる。

関連論文リスト

From Vision to Audio and Beyond: A Unified Model for Audio-Visual Representation and Generation [17.95017332858846]
本稿では,視覚表現学習と視覚音声生成のギャップを埋める新しいフレームワークであるVision to Audio and Beyond(VAB)を紹介する。 VABは、事前訓練されたオーディオトークンライザと画像エンコーダを使用して、それぞれ音声トークンと視覚的特徴を取得する。実験では,ビデオから高品質な音声を生成するためのVABの効率と,セマンティック・オーディオ・視覚的特徴を習得する能力について紹介した。
論文参考訳（メタデータ） (2024-09-27T20:26:34Z)
Audio-visual training for improved grounding in video-text LLMs [1.9320359360360702]
本稿では,音声視覚入力を明示的に処理するモデルアーキテクチャを提案する。我々は、ビデオインストラクションチューニングデータセットからオーディオデータと視覚データの両方でモデルをトレーニングする。音声-視覚モデルのより良い評価のために、人間による注釈付きベンチマークデータセットもリリースする。
論文参考訳（メタデータ） (2024-07-21T03:59:14Z)
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
本稿では,複数の改良を加えた多言語音声認識モデルを提案する。我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
論文参考訳（メタデータ） (2024-03-14T01:16:32Z)
AV-SUPERB: A Multi-Task Evaluation Benchmark for Audio-Visual Representation Models [92.92233932921741]
AV-SUPERBベンチマークは,音声・視覚・バイモーダル融合表現の汎用的評価を可能にする。我々は,最近の5つの自己教師型モデルを評価し,これらのモデルがすべてのタスクに一般化されないことを示す。我々は,AudioSetを用いた中間タスクの微調整と音声イベント分類によって表現が改善されることを実証した。
論文参考訳（メタデータ） (2023-09-19T17:35:16Z)
AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
論文参考訳（メタデータ） (2023-03-29T07:24:28Z)
Object Segmentation with Audio Context [0.5243460995467893]
本プロジェクトは,ビデオインスタンスセグメンテーションタスクのためのマルチモーダル機能アグリゲーションについて検討する。ビデオセグメンテーションモデルに音声機能を統合することで、音声視覚学習方式を実現する。
論文参考訳（メタデータ） (2023-01-04T01:33:42Z)
MAViL: Masked Audio-Video Learners [68.61844803682145]
本研究では,masked Audio-Video Learningers (MAViL) を用いて映像表現の学習を行う。 MAViLによる事前トレーニングにより、音声視覚分類および検索タスクにおいて、モデルの性能が向上する。自己監督型オーディオ視覚モデルが初めて、ベンチマークの外部監視を使用するモデルよりも優れています。
論文参考訳（メタデータ） (2022-12-15T18:59:59Z)
Contrastive Audio-Visual Masked Autoencoder [85.53776628515561]
CAV-MAE(Contrastive Audio-Visual Masked Auto-Encoder) 我々の完全自己指導型CAV-MAEは、VGGSoundで65.9%の新しいSOTA精度を実現する。
論文参考訳（メタデータ） (2022-10-02T07:29:57Z)
Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data [9.072124914105325]
本稿では、弱いラベル付きビデオ記録から音を認識することを学習するオーディオ視覚融合モデルを提案する。大規模音響イベントデータセットであるAudioSetの実験は,提案モデルの有効性を実証する。
論文参考訳（メタデータ） (2020-05-29T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。