Fugu-MT 論文翻訳(概要): Fast-Slow Transformer for Visually Grounding Speech

論文の概要: Fast-Slow Transformer for Visually Grounding Speech

arxiv url: http://arxiv.org/abs/2109.08186v1
Date: Thu, 16 Sep 2021 18:45:45 GMT
ステータス: 処理完了
システム内更新日: 2021-09-20 14:33:41.537590
Title: Fast-Slow Transformer for Visually Grounding Speech
Title（参考訳）: 視覚接地用高速変圧器
Authors: Puyuan Peng and David Harwath
Abstract要約: 本稿では,Fast-Slow Transformer for Visually Grounding Speech(FST-VGS)を提案する。 FaST-VGSは、生音声波形と視覚画像の関係を学習するためのトランスフォーマーベースのモデルである。
参考スコア（独自算出の注目度）: 15.68151998164009
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present Fast-Slow Transformer for Visually Grounding Speech, or FaST-VGS. FaST-VGS is a Transformer-based model for learning the associations between raw speech waveforms and visual images. The model unifies dual-encoder and cross-attention architectures into a single model, reaping the superior retrieval speed of the former along with the accuracy of the latter. FaST-VGS achieves state-of-the-art speech-image retrieval accuracy on benchmark datasets, and its learned representations exhibit strong performance on the ZeroSpeech 2021 phonetic and semantic tasks.
Abstract（参考訳）: 本稿では,Fast-Slow Transformer for Visually Grounding Speech(FST-VGS)を提案する。 FaST-VGSは、生音声波形と視覚画像の関係を学習するためのトランスフォーマーベースのモデルである。このモデルはデュアルエンコーダとクロスアテンションアーキテクチャを1つのモデルに統合し、後者の精度とともに前者の検索速度を向上する。 FaST-VGSは、ベンチマークデータセット上で最先端の音声画像検索精度を実現し、その学習された表現は、ZeroSpeech 2021音声およびセマンティックタスクに強いパフォーマンスを示す。

関連論文リスト

VQalAttent: a Transparent Speech Generation Pipeline based on Transformer-learned VQ-VAE Latent Space [0.49109372384514843]
VQalAttentは、調整可能な性能と解釈性を備えた偽音声を生成するために設計された軽量モデルである。以上の結果から,VQalAttentが限られた計算資源を持つ可知音声サンプルを生成する能力を示した。
論文参考訳（メタデータ） (2024-11-22T00:21:39Z)
DPI-TTS: Directional Patch Interaction for Fast-Converging and Style Temporal Modeling in Text-to-Speech [43.45691362372739]
テキスト・トゥ・音声(DPI-TTS)のための方向的パッチ・インタラクション法を提案する。 DPI-TTSは低周波数から高周波数のフレーム・バイ・フレームプログレッシブ・推論・アプローチを採用しており、音響特性とより密に一致している。実験により,本手法はトレーニング速度を約2倍に向上し,ベースラインモデルよりも大幅に向上することが示された。
論文参考訳（メタデータ） (2024-09-18T09:36:55Z)
SimpleSpeech 2: Towards Simple and Efficient Text-to-Speech with Flow-based Scalar Latent Transformer Diffusion Models [64.40250409933752]
我々は、SimpleSpeech 2.0と呼ばれるシンプルで効率的な非自己回帰(NAR)TSフレームワークを実装することで、過去の出版物の上に構築した。 SimpleSpeech 2は、自己回帰(AR)法と非自己回帰(NAR)法の両方の長所を効果的に組み合わせている。我々は,従来の作業と他の大規模TSモデル(SOTA)と比較して,生成性能と生成速度が大幅に向上したことを示す。
論文参考訳（メタデータ） (2024-08-25T17:07:39Z)
DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation [36.126810842258706]
直接音声音声変換(S2ST)は、1つのモデルを用いて、ある言語から別の言語に音声を翻訳する。言語的および音響的多様性が存在するため、ターゲット音声は複雑な多モーダル分布に従う。高速かつ高品質なS2STを実現する非自己回帰直接S2STモデルであるDASpeechを提案する。
論文参考訳（メタデータ） (2023-10-11T11:39:36Z)
ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。 TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
論文参考訳（メタデータ） (2023-01-12T11:33:07Z)
UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units [64.61596752343837]
本稿では,まずテキスト表現を生成し,離散音響単位を予測する2パス直接S2STアーキテクチャであるUnitYを提案する。第1パスデコーダのサブワード予測によりモデル性能を向上させる。提案手法は,第2パスのスペクトルを予測しても性能が向上することを示す。
論文参考訳（メタデータ） (2022-12-15T18:58:28Z)
TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
論文参考訳（メタデータ） (2022-05-25T06:34:14Z)
FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis [90.3069686272524]
本稿では,高品質音声合成のための高速条件拡散モデルであるFastDiffを提案する。 FastDiffは、長期の依存関係を効率的にモデル化するために、さまざまな受容的フィールドパターンの時間認識可能な位置可変の畳み込みを使用する。我々は、FastDiffに基づいて、高忠実度音声波形を生成するエンドツーエンドのテキスト音声合成器FastDiff-TTSを設計する。
論文参考訳（メタデータ） (2022-04-21T07:49:09Z)
Relative Positional Encoding for Speech Recognition and Direct Translation [72.64499573561922]
相対位置符号化方式を音声変換器に適用する。その結果,ネットワークは音声データに存在する変動分布に適応できることがわかった。
論文参考訳（メタデータ） (2020-05-20T09:53:06Z)
Multiresolution and Multimodal Speech Recognition with Transformers [22.995102995029576]
本稿ではトランスフォーマーアーキテクチャを用いた音声視覚自動音声認識(AV-ASR)システムを提案する。我々は、視覚情報によって提供されるシーンコンテキストに着目して、ASRを接地する。私たちの結果は、最先端のListen、Attend、Spellベースのアーキテクチャに匹敵します。
論文参考訳（メタデータ） (2020-04-29T09:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。