論文の概要: Self-paced ensemble learning for speech and audio classification

• arxiv url: http://arxiv.org/abs/2103.11988v1
• Date: Mon, 22 Mar 2021 16:34:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:45:08.909786
• Title: Self-paced ensemble learning for speech and audio classification
• Title（参考訳）: 音声・音声分類のための自己ペースアンサンブル学習
• Authors: Nicolae-Catalin Ristea, Radu Tudor Ionescu
• Abstract要約: モデルが複数回のイテレーションで互いに学習する自己ペースのアンサンブル学習方式を提案する。 セルフペースの学習プロセスの間、私たちのアンサンブルはターゲットドメインに関する知識も得ます。 実験結果はSPELがベースラインアンサンブルモデルを大幅に上回ることを示す。
• 参考スコア（独自算出の注目度）: 19.39192082485334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining multiple machine learning models into an ensemble is known to provide superior performance levels compared to the individual components forming the ensemble. This is because models can complement each other in taking better decisions. Instead of just combining the models, we propose a self-paced ensemble learning scheme in which models learn from each other over several iterations. During the self-paced learning process based on pseudo-labeling, in addition to improving the individual models, our ensemble also gains knowledge about the target domain. To demonstrate the generality of our self-paced ensemble learning (SPEL) scheme, we conduct experiments on three audio tasks. Our empirical results indicate that SPEL significantly outperforms the baseline ensemble models. We also show that applying self-paced learning on individual models is less effective, illustrating the idea that models in the ensemble actually learn from each other.
• Abstract（参考訳）: 複数の機械学習モデルをアンサンブルに組み合わせることで、アンサンブルを構成する個々のコンポーネントよりも優れたパフォーマンスレベルを提供できることが知られている。 これは、モデルがより良い決定を下す際に相互に補完できるためです。 モデルを単に組み合わせるのではなく、数回の反復でモデル同士から学習する自己組織化学習方式を提案する。 擬似ラベルに基づく自己評価学習プロセスでは,個々のモデルの改善に加えて,対象ドメインに関する知識も得られる。 本研究では,SPEL方式の汎用性を示すために,3つの音声タスクについて実験を行った。 実験の結果,SPELはベースラインアンサンブルモデルよりも有意に優れていた。 また,各モデルに自己ペース学習を適用することは効果が低く,アンサンブル内のモデルが互いに学習するという考えを示す。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Confidence-based Ensembles of End-to-End Speech Recognition Models [71.65982591023581]
  5つの単言語モデルの信頼に基づくアンサンブルは、専用言語識別ブロックを介してモデル選択を行うシステムより優れていることを示す。 また、ベースモデルと適応モデルを組み合わせることで、オリジナルデータとターゲットデータの両方で強力な結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-27T23:13:43Z)
• Multi-Mode Online Knowledge Distillation for Self-Supervised Visual Representation Learning [13.057037169495594]
  自己教師付き視覚表現学習を促進するための多モードオンライン知識蒸留法(MOKD)を提案する。 MOKDでは、2つの異なるモデルが自己監督的な方法で協調的に学習する。 さらに、MOKDは学生モデルと教師モデルの両方で既存のSSL-KDメソッドよりも優れている。
  論文  参考訳（メタデータ） (2023-04-13T12:55:53Z)
• Ensemble knowledge distillation of self-supervised speech models [84.69577440755457]
  蒸留自己監督モデルは近年、競争性能と効率性を示している。 We performed Ensemble Knowledge Distillation (EKD) on various self-supervised speech model, HuBERT, RobustHuBERT, WavLM。 提案手法は,4つの下流音声処理タスクにおける蒸留モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-02-24T17:15:39Z)
• Data-Free Diversity-Based Ensemble Selection For One-Shot Federated Learning in Machine Learning Model Market [2.9046424358155236]
  単発フェデレーション学習によって生成されるモデルのアンサンブル選択問題に対処するため,DeDESと呼ばれるデータ自由多様性に基づく新しい手法を提案する。 提案手法は、5つのデータセットと4つの異なるモデル構造よりも優れた性能と高い効率を実現することができる。
  論文  参考訳（メタデータ） (2023-02-23T02:36:27Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Ensemble deep learning: A review [0.0]
  アンサンブル学習はいくつかの個別モデルを組み合わせてより良い一般化性能を得る。 ディープアンサンブル学習モデルは、深層学習モデルとアンサンブル学習の両方の利点を組み合わせる。 本論文では,最新の深部アンサンブルモデルについて検討し,その概要を概説する。
  論文  参考訳（メタデータ） (2021-04-06T09:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。