論文の概要: Confidence-based Ensembles of End-to-End Speech Recognition Models
- arxiv url: http://arxiv.org/abs/2306.15824v1
- Date: Tue, 27 Jun 2023 23:13:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 16:25:33.141846
- Title: Confidence-based Ensembles of End-to-End Speech Recognition Models
- Title（参考訳）: 信頼に基づくエンドツーエンド音声認識モデルのアンサンブル
- Authors: Igor Gitman, Vitaly Lavrukhin, Aleksandr Laptev, Boris Ginsburg
- Abstract要約: 5つの単言語モデルの信頼に基づくアンサンブルは、専用言語識別ブロックを介してモデル選択を行うシステムより優れていることを示す。
また、ベースモデルと適応モデルを組み合わせることで、オリジナルデータとターゲットデータの両方で強力な結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 71.65982591023581
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The number of end-to-end speech recognition models grows every year. These
models are often adapted to new domains or languages resulting in a
proliferation of expert systems that achieve great results on target data,
while generally showing inferior performance outside of their domain of
expertise. We explore combination of such experts via confidence-based
ensembles: ensembles of models where only the output of the most-confident
model is used. We assume that models' target data is not available except for a
small validation set. We demonstrate effectiveness of our approach with two
applications. First, we show that a confidence-based ensemble of 5 monolingual
models outperforms a system where model selection is performed via a dedicated
language identification block. Second, we demonstrate that it is possible to
combine base and adapted models to achieve strong results on both original and
target data. We validate all our results on multiple datasets and model
architectures.
- Abstract（参考訳）: エンドツーエンド音声認識モデルの数は毎年増えている。
これらのモデルは、しばしば新しいドメインや言語に適応し、その結果、ターゲットデータに対して大きな結果をもたらす専門家システムが急増する一方、一般的には専門分野以外では劣ったパフォーマンスを示す。
信頼度に基づくアンサンブル:最も信頼度の高いモデルの出力のみを使用するモデルのアンサンブル。
モデルのターゲットデータは、小さな検証セットを除いては利用できないと仮定する。
提案手法の有効性を2つの応用例で示す。
まず、5つの単言語モデルの信頼に基づくアンサンブルが、専用言語識別ブロックを介してモデル選択を行うシステムより優れていることを示す。
第2に、ベースモデルと適応モデルを組み合わせることで、オリジナルデータとターゲットデータの両方で強力な結果が得られることを示す。
結果を複数のデータセットとモデルアーキテクチャで検証します。
関連論文リスト
- A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。
ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。
当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
論文 参考訳（メタデータ） (2024-11-20T20:38:56Z) - Fitting Multiple Machine Learning Models with Performance Based Clustering [8.763425474439552]
従来の機械学習のアプローチは、データが単一の生成メカニズムから来ると仮定している。
本稿では,特徴値と対象値の関係に応じてデータをグループ化することで,この仮定を解消するクラスタリングフレームワークを提案する。
フレームワークをストリーミングデータを持つアプリケーションに拡張し、モデルのアンサンブルを使用して結果を生成する。
論文 参考訳（メタデータ） (2024-11-10T19:38:35Z) - Has Your Pretrained Model Improved? A Multi-head Posterior Based
Approach [25.927323251675386]
我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。
本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。
提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
論文 参考訳（メタデータ） (2024-01-02T17:08:26Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Artificial Interrogation for Attributing Language Models [0.0]
この課題は、人気言語モデルの12のオープンソースベースバージョンと、テキスト生成のための12の微調整言語モデルを提供する。
コンテストの目標は、どのモデルがどのベースモデルに由来するかを特定することである。
両集合のモデルから生成された応答の類似性を測定するために4つの異なるアプローチを採用した。
論文 参考訳（メタデータ） (2022-11-20T05:46:29Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。