Fugu-MT 論文翻訳(概要): NAViDAd: A No-Reference Audio-Visual Quality Metric Based on a Deep Autoencoder

論文の概要: NAViDAd: A No-Reference Audio-Visual Quality Metric Based on a Deep Autoencoder

arxiv url: http://arxiv.org/abs/2001.11406v2
Date: Tue, 4 Feb 2020 19:08:49 GMT
ステータス: 処理完了
システム内更新日: 2023-01-05 12:47:34.807181
Title: NAViDAd: A No-Reference Audio-Visual Quality Metric Based on a Deep Autoencoder
Title（参考訳）: NAViDAd:ディープオートエンコーダに基づく非参照オーディオ映像品質指標
Authors: Helard Martinez, M. C. Farias, A. Hines
Abstract要約: ディープオートエンコーダ(NAViDAd)に基づく非参照音声品質指標を提案する。このモデルは、ディープオートエンコーダ層と分類層を含む2層フレームワークによって構成される。このモデルは、UnB-AVとLiveNetflix-IIデータベースでテストするとうまく動作した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The development of models for quality prediction of both audio and video signals is a fairly mature field. But, although several multimodal models have been proposed, the area of audio-visual quality prediction is still an emerging area. In fact, despite the reasonable performance obtained by combination and parametric metrics, currently there is no reliable pixel-based audio-visual quality metric. The approach presented in this work is based on the assumption that autoencoders, fed with descriptive audio and video features, might produce a set of features that is able to describe the complex audio and video interactions. Based on this hypothesis, we propose a No-Reference Audio-Visual Quality Metric Based on a Deep Autoencoder (NAViDAd). The model visual features are natural scene statistics (NSS) and spatial-temporal measures of the video component. Meanwhile, the audio features are obtained by computing the spectrogram representation of the audio component. The model is formed by a 2-layer framework that includes a deep autoencoder layer and a classification layer. These two layers are stacked and trained to build the deep neural network model. The model is trained and tested using a large set of stimuli, containing representative audio and video artifacts. The model performed well when tested against the UnB-AV and the LiveNetflix-II databases. %Results shows that this type of approach produces quality scores that are highly correlated to subjective quality scores.
Abstract（参考訳）: 音声信号とビデオ信号の両方の品質予測モデルの開発は、かなり成熟した分野である。しかし、複数のマルチモーダルモデルが提案されているが、音声・視覚品質予測の分野はいまだに新興分野である。実際、組み合わせとパラメトリックのメトリクスによって得られる妥当なパフォーマンスにもかかわらず、現在、信頼できるピクセルベースのオーディオ視覚品質指標は存在しない。この研究で提示されたアプローチは、説明的なオーディオとビデオ機能を備えたオートエンコーダが、複雑なオーディオとビデオのインタラクションを記述することのできる一連の機能を生み出すかもしれないという仮定に基づいている。この仮説に基づいて,Deep Autoencoder (NAViDAd) に基づく非参照オーディオ-ビジュアル品質メトリクスを提案する。モデル視覚特徴は、ビデオ成分の自然シーン統計(NSS)と時空間測度である。一方、音声成分のスペクトログラム表現を演算して音声特徴を得る。このモデルは、ディープオートエンコーダ層と分類層を含む2層フレームワークによって形成される。これら2つのレイヤは積み重ねられ、ディープニューラルネットワークモデルを構築するためにトレーニングされます。モデルは、代表的なオーディオおよびビデオアーティファクトを含む、大きな刺激セットを使用して訓練され、テストされる。このモデルは、UnB-AVとLiveNetflix-IIデータベースでテストするとうまく動作した。 %の結果, 主観的品質スコアと高い相関性を有する品質スコアが得られた。

関連論文リスト

From Vision to Audio and Beyond: A Unified Model for Audio-Visual Representation and Generation [17.95017332858846]
本稿では,視覚表現学習と視覚音声生成のギャップを埋める新しいフレームワークであるVision to Audio and Beyond(VAB)を紹介する。 VABは、事前訓練されたオーディオトークンライザと画像エンコーダを使用して、それぞれ音声トークンと視覚的特徴を取得する。実験では,ビデオから高品質な音声を生成するためのVABの効率と,セマンティック・オーディオ・視覚的特徴を習得する能力について紹介した。
論文参考訳（メタデータ） (2024-09-27T20:26:34Z)
Diverse and Aligned Audio-to-Video Generation via Text-to-Video Model Adaptation [89.96013329530484]
本研究では,多様な意味クラスから自然音声サンプルによってガイドされる多種多様なリアルなビデオを生成するタスクについて考察する。既存のテキスト条件付きビデオ生成モデルと事前学習されたオーディオエンコーダモデルを利用する。提案手法は,音声映像サンプルの有意な意味的多様性を示す3つのデータセットに対して広範に検証する。
論文参考訳（メタデータ） (2023-09-28T13:26:26Z)
Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
論文参考訳（メタデータ） (2023-09-20T17:59:32Z)
AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
論文参考訳（メタデータ） (2023-08-23T18:20:59Z)
AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations [88.30635799280923]
AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。 LRS3の結果は、AV-data2vecが、同じ量のデータとモデルサイズで既存のメソッドを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2023-02-10T02:55:52Z)
Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
論文参考訳（メタデータ） (2023-01-30T04:44:34Z)
Contrastive Audio-Visual Masked Autoencoder [85.53776628515561]
CAV-MAE(Contrastive Audio-Visual Masked Auto-Encoder) 我々の完全自己指導型CAV-MAEは、VGGSoundで65.9%の新しいSOTA精度を実現する。
論文参考訳（メタデータ） (2022-10-02T07:29:57Z)
Audiovisual Saliency Prediction in Uncategorized Video Sequences based on Audio-Video Correlation [0.0]
本研究の目的は,低レベルの音声と映像の特徴を同期して計算した音声サリエンシーマップと視覚サリエンシーマップを補完する汎用的な音声/ビデオサリエンシーモデルを提供することである。提案モデルは,diemビデオデータセットの眼固定データに対する異なる基準を用いて評価した。
論文参考訳（メタデータ） (2021-01-07T14:22:29Z)
COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio Representations [32.456824945999465]
本稿では,学習した音声とその関連タグの潜在表現を調整し,音声表現を学習する手法を提案する。組込みモデルの性能評価を行い,その性能を3つの異なるタスクにおける特徴抽出器として評価した。
論文参考訳（メタデータ） (2020-06-15T13:17:18Z)
How deep is your encoder: an analysis of features descriptors for an autoencoder-based audio-visual quality metric [2.191505742658975]
No-Reference Audio-Visual Quality Metric Based on a Deep Autoencoder (NAViDAd)は、機械学習の観点からこの問題を扱う。 NAViDAdの基本的な実装は、様々なオーディオヴィジュアルデータベースでテストされた正確な予測を生成することができた。
論文参考訳（メタデータ） (2020-03-24T20:15:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。