論文の概要: VI-PANN: Harnessing Transfer Learning and Uncertainty-Aware Variational
Inference for Improved Generalization in Audio Pattern Recognition
- arxiv url: http://arxiv.org/abs/2401.05531v2
- Date: Fri, 1 Mar 2024 21:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 20:04:30.975625
- Title: VI-PANN: Harnessing Transfer Learning and Uncertainty-Aware Variational
Inference for Improved Generalization in Audio Pattern Recognition
- Title（参考訳）: VI-PANN:音声パターン認識における一般化のためのハーネス変換学習と不確かさを考慮した変分推論
- Authors: John Fischer, Marko Orescanin, Eric Eckstrand
- Abstract要約: 変動予測事前学習型音声ニューラルネットワーク(VI-PANN)を提案する。
我々は、VI-PANNから他の下流音響分類タスクに知識を移す際に生じる不確実性の質を評価する。
- 参考スコア（独自算出の注目度）: 0.40964539027092917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning (TL) is an increasingly popular approach to training deep
learning (DL) models that leverages the knowledge gained by training a
foundation model on diverse, large-scale datasets for use on downstream tasks
where less domain- or task-specific data is available. The literature is rich
with TL techniques and applications; however, the bulk of the research makes
use of deterministic DL models which are often uncalibrated and lack the
ability to communicate a measure of epistemic (model) uncertainty in
prediction. Unlike their deterministic counterparts, Bayesian DL (BDL) models
are often well-calibrated, provide access to epistemic uncertainty for a
prediction, and are capable of achieving competitive predictive performance. In
this study, we propose variational inference pre-trained audio neural networks
(VI-PANNs). VI-PANNs are a variational inference variant of the popular
ResNet-54 architecture which are pre-trained on AudioSet, a large-scale audio
event detection dataset. We evaluate the quality of the resulting uncertainty
when transferring knowledge from VI-PANNs to other downstream acoustic
classification tasks using the ESC-50, UrbanSound8K, and DCASE2013 datasets. We
demonstrate, for the first time, that it is possible to transfer calibrated
uncertainty information along with knowledge from upstream tasks to enhance a
model's capability to perform downstream tasks.
- Abstract（参考訳）: トランスファーラーニング(TL)は、ドメインやタスク固有のデータが少ないダウンストリームタスクで使用する多様な大規模データセットの基礎モデルをトレーニングすることによって得られる知識を活用する、ディープラーニング(DL)モデルをトレーニングするアプローチとして、ますます人気が高まっている。
文献はTL技術や応用に富んでいるが、多くの研究は決定論的DLモデルを利用しており、これはしばしば非校正され、予測において疫学(モデル)の不確実性の尺度を伝える能力に欠ける。
決定論的モデルとは異なり、ベイズDL(BDL)モデルはよく校正され、予測のための疫学的不確実性へのアクセスを提供し、競争的な予測性能を達成することができる。
本研究では,変動予測事前学習型音声ニューラルネットワーク(VI-PANN)を提案する。
VI-PANNは、大規模なオーディオイベント検出データセットであるAudioSetで事前トレーニングされている人気のあるResNet-54アーキテクチャの変分推論である。
ESC-50,UrbanSound8K,DCASE2013データセットを用いて,VI-PANNから他の下流音響分類タスクに知識を伝達する際の不確実性の評価を行った。
我々は,上流タスクからの知識とともに校正された不確実性情報を伝達し,下流タスクを実行するモデルの能力を高めることを初めて実証する。
関連論文リスト
- Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。
本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。
本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
論文 参考訳（メタデータ） (2024-07-26T17:51:58Z) - Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-07T12:19:37Z) - CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。
ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
論文 参考訳（メタデータ） (2024-07-02T15:05:19Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - On the Transferability of Learning Models for Semantic Segmentation for
Remote Sensing Data [12.500746892824338]
近年の深層学習に基づく手法は、リモートセンシング(RS)セマンティックセグメンテーション/分類タスクにおいて従来の学習方法より優れている。
しかし、ソースドメインでトレーニングされたモデルがターゲットドメインに容易に適用できる程度に、その転送可能性に関する包括的な分析は存在しない。
本稿では,従来のディープラーニングモデル(DL)とドメイン適応手法(DA)の有効性について検討する。
論文 参考訳（メタデータ） (2023-10-16T15:13:36Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳（メタデータ） (2022-11-29T19:39:47Z) - Transfer Learning Based Efficient Traffic Prediction with Limited
Training Data [3.689539481706835]
インターネットトラフィックの効率的な予測は、積極的な管理を確保するための自己組織化ネットワーク(SON)の不可欠な部分である。
限られた訓練データを用いたネットワークトラフィック予測における深部シーケンスモデルは、現在研究されている研究で広く研究されていない。
不適切な歴史データを用いた交通予測における深層移動学習手法の性能について検討・評価を行った。
論文 参考訳（メタデータ） (2022-05-09T14:44:39Z) - Unified Instance and Knowledge Alignment Pretraining for Aspect-based
Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。
事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。
我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文 参考訳（メタデータ） (2021-10-26T04:03:45Z) - A Variational Bayesian Approach to Learning Latent Variables for
Acoustic Knowledge Transfer [55.20627066525205]
本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。
我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
論文 参考訳（メタデータ） (2021-10-16T15:54:01Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳（メタデータ） (2020-07-17T01:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。