論文の概要: Improving Audio-Language Learning with MixGen and Multi-Level Test-Time
Augmentation
- arxiv url: http://arxiv.org/abs/2210.17143v1
- Date: Mon, 31 Oct 2022 08:50:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 18:47:19.762110
- Title: Improving Audio-Language Learning with MixGen and Multi-Level Test-Time
Augmentation
- Title(参考訳): MixGenとマルチレベルテスト時間拡張によるオーディオ言語学習の改善
- Authors: Eungbeom Kim, Jinhee Kim, Yoori Oh, Kyungsu Kim, Minju Park, Jaeheon
Sim, Jinwoo Lee, Kyogu Lee
- Abstract要約: 本稿では,1) 音声言語MixGen (AL-MixGen) と2) マルチレベルテスト時間拡張 (Multi-TTA) の2つの新しい拡張手法を提案する。
AL-MixGenとMulti-TTAがベースラインに組み込まれ、オーディオキャプションで47.5 SPIDErを達成する。
音声テキスト検索では,提案手法はベースライン性能を超越する。
- 参考スコア(独自算出の注目度): 13.877876020377373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose two novel augmentation methods 1) audio-language
MixGen (AL-MixGen) and 2) multi-level test-time augmentation (Multi-TTA) for
audio-language learning. Inspired by MixGen, which is originally applied to
vision-language learning, we introduce an augmentation method for the
audio-language domain. We also explore the impact of test-time augmentations
and present Multi-TTA which generalizes test-time augmentation over multiple
layers of a deep learning model. Incorporating AL-MixGen and Multi-TTA into the
baseline achieves 47.5 SPIDEr on audio captioning, which is an +18.2% over the
baseline and outperforms the state-of-the-art approach with a 5x smaller model.
In audio-text retrieval, the proposed methods surpass the baseline performance
as well.
- Abstract(参考訳): 本稿では,新しい拡張法を2つ提案する。
1)音声言語MixGen(AL-MixGen)および
2) 音声学習のためのマルチレベルテスト時間拡張(Multi-TTA)。
視覚言語学習に応用されたMixGenに着想を得て,音声言語領域の拡張手法を提案する。
また、テスト時間拡張の影響についても検討し、深層学習モデルの複数層にわたるテスト時間拡張を一般化するマルチTTAを提案する。
AL-MixGenとMulti-TTAをベースラインに組み込むことで、オーディオキャプションの47.5 SPIDErを達成する。
音声テキスト検索では,提案手法はベースライン性能を超越する。
関連論文リスト
- Rethinking and Improving Multi-task Learning for End-to-end Speech
Translation [51.713683037303035]
異なる時間とモジュールを考慮したタスク間の整合性について検討する。
テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。
長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
論文 参考訳(メタデータ) (2023-11-07T08:48:46Z) - Speed Co-Augmentation for Unsupervised Audio-Visual Pre-training [102.18680666349806]
本稿では,音声とビデオデータの再生速度をランダムに変更する高速化手法を提案する。
実験の結果,提案手法は,バニラ音声・視覚的コントラスト学習と比較して,学習表現を著しく改善することがわかった。
論文 参考訳(メタデータ) (2023-09-25T08:22:30Z) - Reduce, Reuse, Recycle: Is Perturbed Data better than Other Language
augmentation for Low Resource Self-Supervised Speech Models [52.92618442300405]
自己教師付き表現学習(SSRL)は、教師付きモデルと比較して下流音素認識の性能を改善した。
SSRLモデルのトレーニングには大量の事前学習データが必要である。
本稿では,低リソース条件下でのSSRLモデルの事前学習に音声拡張を用い,音素認識をダウンストリームタスクとして評価する。
論文 参考訳(メタデータ) (2023-09-22T10:09:09Z) - A Large-scale Dataset for Audio-Language Representation Learning [54.933479346870506]
本稿では,一連の公開ツールやAPIに基づいた,革新的で自動的な音声キャプション生成パイプラインを提案する。
我々はAuto-ACDという名前の大規模で高品質な音声言語データセットを構築し、190万以上の音声テキストペアからなる。
論文 参考訳(メタデータ) (2023-09-20T17:59:32Z) - Weakly-Supervised Multi-Task Learning for Audio-Visual Speaker
Verification [0.5261718469769449]
オープンセット音声-視覚的話者照合のための頑健なマルチモーダル人物最適化表現を実現する手法を提案する。
我々のネットワークは,VoxCeleb1-O/E/Hの3つの公式トライアルリストにおいて,0.244%,0.252%,0.441%の誤り率(EER)を報告し,話者検証のための技術性能の状態を達成している。
論文 参考訳(メタデータ) (2023-09-13T17:45:41Z) - Exploring the Role of Audio in Video Captioning [59.679122191706426]
本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。
本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
論文 参考訳(メタデータ) (2023-06-21T20:54:52Z) - Improving Natural-Language-based Audio Retrieval with Transfer Learning
and Audio & Text Augmentations [7.817685358710508]
本稿では,録音やテキストによる記述を共有音声空間に投影するシステムを提案する。
以上の結果から, 使用済み拡張戦略は過剰適合を低減し, 検索性能の向上を図っている。
さらに、AudioCapsデータセットで事前トレーニングを行うことで、さらなる改善がもたらされることを示す。
論文 参考訳(メタデータ) (2022-08-24T11:54:42Z) - Adaptive multilingual speech recognition with pretrained models [24.01587237432548]
本稿では,2つのモードに対して事前学習した2つのモデルの有効性について検討する。
全体としては、純粋に教師付き学習よりも44%の改善が見られた。
論文 参考訳(メタデータ) (2022-05-24T18:29:07Z) - Semi-supervised transfer learning for language expansion of end-to-end
speech recognition models to low-resource languages [19.44975351652865]
低音源言語における音声認識精度向上のための3段階学習手法を提案する。
我々は、翻訳学習、TS拡張、SSLを用いて、よく訓練された英語モデル、ラベルなしテキストコーパス、ラベルなしオーディオコーパスを利用する。
第1パスにおけるモノトニック・チャンクワイド・アテンション(MoA)を用いた2パス音声認識システムでは,ベースラインに対するWERの42%削減を実現している。
論文 参考訳(メタデータ) (2021-11-19T05:09:16Z) - Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks [20.316239155843963]
本稿では,音声表現学習手法を提案し,それを下流の音声非音声タスクに適用する。
AudioSetベンチマークでは、平均平均精度(mAP)スコアが0.415に達しています。
論文 参考訳(メタデータ) (2021-10-14T12:32:40Z) - Deep Audio-Visual Learning: A Survey [53.487938108404244]
現在の音声・視覚学習タスクを4つのサブフィールドに分割する。
本稿では,各サブフィールドに残る課題だけでなく,最先端の手法についても論じる。
一般的に使用されるデータセットとパフォーマンスメトリクスを要約します。
論文 参考訳(メタデータ) (2020-01-14T13:11:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。