論文の概要: Improved Zero-Shot Audio Tagging & Classification with Patchout Spectrogram Transformers

• arxiv url: http://arxiv.org/abs/2208.11402v1
• Date: Wed, 24 Aug 2022 09:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-25 13:32:46.074608
• Title: Improved Zero-Shot Audio Tagging & Classification with Patchout Spectrogram Transformers
• Title（参考訳）: Patchout Spectrogram Transformerによるゼロショットオーディオタグと分類の改善
• Authors: Paul Primus and Gerhard Widmer
• Abstract要約: Zero-Shot(ZS)学習は、適応可能なクラス記述に基づいてクラスを予測することによって制約を克服する。 本研究では,ZS学習における自己注意型音声埋め込みアーキテクチャの有効性について検討する。
• 参考スコア（独自算出の注目度）: 7.817685358710508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard machine learning models for tagging and classifying acoustic signals cannot handle classes that were not seen during training. Zero-Shot (ZS) learning overcomes this restriction by predicting classes based on adaptable class descriptions. This study sets out to investigate the effectiveness of self-attention-based audio embedding architectures for ZS learning. To this end, we compare the very recent patchout spectrogram transformer with two classic convolutional architectures. We evaluate these three architectures on three tasks and on three different benchmark datasets: general-purpose tagging on AudioSet, environmental sound classification on ESC-50, and instrument tagging on OpenMIC. Our results show that the self-attention-based embedding methods outperform both compared convolutional architectures in all of these settings. By designing training and test data accordingly, we observe that prediction performance suffers significantly when the `semantic distance' between training and new test classes is large, an effect that will deserve more detailed investigations.
• Abstract（参考訳）: 音響信号のタグ付けと分類のための標準的な機械学習モデルは、トレーニング中に見られなかったクラスを扱えない。 Zero-Shot(ZS)学習は、適応可能なクラス記述に基づいてクラスを予測することによって、この制限を克服する。 本研究では,ZS学習における自己注意型音声埋め込みアーキテクチャの有効性について検討する。 この目的のために、パッチアウト・スペクトログラム変換器を2つの古典的畳み込みアーキテクチャと比較した。 これら3つのアーキテクチャを3つのタスクと3つのベンチマークデータセットで評価する。AudioSetの汎用タグ付け、ESC-50の環境音分類、OpenMICの楽器タグ付けである。 以上の結果から, 自己注意に基づく埋め込み手法は, これらすべての環境における畳み込みアーキテクチャよりも優れていた。 トレーニングデータとテストデータを設計することにより、トレーニングクラスと新しいテストクラスの間の「セマンティクス距離」が大きいと予測性能が著しく低下し、より詳細な調査に値する効果が得られた。

関連論文リスト

• Machine Learning Framework for Audio-Based Content Evaluation using MFCC, Chroma, Spectral Contrast, and Temporal Feature Engineering [0.0]
  そこで本研究では,YouTube上の音楽カバーの音声サンプルと,オリジナル曲の音声とユーザコメントからの感情スコアを含むデータセットを構築した。 我々のアプローチは、広範囲な事前処理、音声信号を30秒のウィンドウに分割し、高次元の特徴表現を抽出することである。 回帰モデルを用いて感情スコアを0-100スケールで予測し,それぞれ3.420,5.482,2.783,4.212の根平均二乗誤差(RMSE)値を達成する。
  論文  参考訳（メタデータ） (2024-10-31T20:26:26Z)
• Self-supervised Learning for Acoustic Few-Shot Classification [10.180992026994739]
  我々は、CNNに基づく前処理と状態空間モデル(SSM)に基づく特徴抽出を組み合わせた新しいアーキテクチャを導入、評価する。 実際のタスクデータに対するコントラスト学習と,それに続くラベル付きデータによる微調整を用いて,このアーキテクチャを事前学習する。 本評価は, 数発の分類問題において, 最先端のアーキテクチャよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-15T07:45:11Z)
• Improving Primate Sounds Classification using Binary Presorting for Deep Learning [6.044912425856236]
  本稿では,MELスペクトル表現のサブセグメンテーションを初めてリラベルする一般化アプローチを提案する。 バイナリプリソートと分類の両方において、畳み込みニューラルネットワーク(CNN)と様々なデータ拡張技術を利用する。 本研究は,異なる霊長類種の音の分類を課題とする,挑戦的なTextitComparE 2021データセットについて,本手法の結果を紹介する。
  論文  参考訳（メタデータ） (2023-06-28T09:35:09Z)
• Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels [100.43280310123784]
  トレーニングセットのサイズを増大させるために,未ラベルデータセットの自動書き起こしの使用について検討した。 近年の文献的傾向であるトレーニングセットのサイズが大きくなると、ノイズのある書き起こしを用いたにもかかわらずWERが減少することが実証された。 提案手法は,RS2 と LRS3 の AV-ASR 上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-25T00:37:34Z)
• Audio-Visual Efficient Conformer for Robust Speech Recognition [91.3755431537592]
  本稿では,近年提案されている高能率コンバータ接続性時間分類アーキテクチャの雑音を,音声と視覚の両方を処理して改善することを提案する。 実験の結果,音声と視覚のモダリティを用いることで,環境騒音の存在下での音声の認識が向上し,トレーニングが大幅に加速し,WERが4倍のトレーニングステップで低下することが確認された。
  論文  参考訳（メタデータ） (2023-01-04T05:36:56Z)
• Low-complexity deep learning frameworks for acoustic scene classification [64.22762153453175]
  音響シーン分類(ASC)のための低複雑さ深層学習フレームワークを提案する。 提案するフレームワークは、フロントエンドのスペクトログラム抽出、オンラインデータ拡張、バックエンドの分類、予測される確率の後期融合の4つの主要なステップに分けることができる。 DCASE 2022 Task 1 Development データセットで実施した実験は,低複雑さの要求を十分に満たし,最も高い分類精度を 60.1% で達成した。
  論文  参考訳（メタデータ） (2022-06-13T11:41:39Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• SoundCLR: Contrastive Learning of Representations For Improved Environmental Sound Classification [0.6767885381740952]
  SoundCLRは、最先端の性能を持つ効果的な環境音分類のための教師付きコントラスト学習手法である。 利用可能な環境音のデータセットのサイズが比較的小さいため、転送学習と強力なデータ拡張パイプラインを提案し、活用する。 実験の結果,log-melスペクトルを用いたマスキングによる拡張技術により,認識性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-03-02T18:42:45Z)
• A Two-Stage Approach to Device-Robust Acoustic Scene Classification [63.98724740606457]
  デバイスロバスト性を改善するために,完全畳み込みニューラルネットワーク(CNN)に基づく2段階システムを提案する。 以上の結果から,提案したASCシステムにより,開発環境における最先端の精度が得られた。 クラスアクティベーションマッピングを用いたニューラルサリエンシ解析により、モデルによって学習されたパターンに関する新たな洞察が得られる。
  論文  参考訳（メタデータ） (2020-11-03T03:27:18Z)
• Device-Robust Acoustic Scene Classification Based on Two-Stage Categorization and Data Augmentation [63.98724740606457]
  我々は,GT,USTC,Tencent,UKEの4つのグループからなる共同で,DCASE 2020 Challengeの第1タスク - 音響シーン分類(ASC)に取り組む。 タスク1aは、複数の(実とシミュレートされた)デバイスで記録されたオーディオ信号のASCを10種類の微細なクラスにフォーカスする。 Task 1bは、低複雑さのソリューションを使用して、データを3つの上位クラスに分類することに関心がある。
  論文  参考訳（メタデータ） (2020-07-16T15:07:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。