論文の概要: DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation

• arxiv url: http://arxiv.org/abs/2005.07029v2
• Date: Sun, 26 Jul 2020 02:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 12:40:43.592261
• Title: DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation
• Title（参考訳）: DARTS-ASR:多言語音声認識と適応のための微分可能なアーキテクチャ探索
• Authors: Yi-Chen Chen, Jui-Yang Hsu, Cheng-Kuang Lee, Hung-yi Lee
• Abstract要約: 本稿では,DARTS-ASRを用いたアーキテクチャ探索手法を提案する。 DARTS-ASRの一般化可能性を検討するために,本手法を多くの言語に応用し,単言語ASRを実行するだけでなく,多言語ASR設定にも適用する。
• 参考スコア（独自算出の注目度）: 64.44349061520671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In previous works, only parameter weights of ASR models are optimized under fixed-topology architecture. However, the design of successful model architecture has always relied on human experience and intuition. Besides, many hyperparameters related to model architecture need to be manually tuned. Therefore in this paper, we propose an ASR approach with efficient gradient-based architecture search, DARTS-ASR. In order to examine the generalizability of DARTS-ASR, we apply our approach not only on many languages to perform monolingual ASR, but also on a multilingual ASR setting. Following previous works, we conducted experiments on a multilingual dataset, IARPA BABEL. The experiment results show that our approach outperformed the baseline fixed-topology architecture by 10.2% and 10.0% relative reduction on character error rates under monolingual and multilingual ASR settings respectively. Furthermore, we perform some analysis on the searched architectures by DARTS-ASR.
• Abstract（参考訳）: 以前の研究では、固定トポロジーアーキテクチャの下で最適化されたasrモデルのパラメーター重みのみである。 しかし、成功したモデルアーキテクチャの設計は常に人間の経験と直観に依存してきた。 さらに、モデルアーキテクチャに関連する多くのハイパーパラメータは手動で調整する必要がある。 そこで本稿では,DARTS-ASRを用いたアーキテクチャ探索手法を提案する。 DARTS-ASRの一般化可能性を検討するために,本手法を多くの言語に応用し,単言語ASRを実行するだけでなく,多言語ASR設定にも適用する。 先行研究に続いて,多言語データセット IARPA BABEL の実験を行った。 実験の結果,本手法は単言語および多言語ASR設定下での文字誤り率の相対減少率を10.2%,10.0%,ベースライン固定トポロジーアーキテクチャよりも優れていた。 さらに,DARTS-ASRによる探索アーキテクチャの解析を行った。

関連論文リスト

• RARe: Retrieval Augmented Retrieval with In-Context Examples [40.963703726988946]
  本稿では,検索者がコンテキスト内例を利用できるためのシンプルなアプローチを提案する。 RAREは、クエリがターゲットクエリとセマンティックに類似しているコンテキスト内の例で事前訓練されたモデルを微調整する。 RAReは、コンテキスト内例のないクエリを用いたモデルと比較して、ドメイン外一般化がより強力であることがわかった。
  論文  参考訳（メタデータ） (2024-10-26T05:46:20Z)
• Massively Multilingual ASR on 70 Languages: Tokenization, Architecture, and Generalization Capabilities [35.15674061731237]
  本稿では70言語における大規模多言語ASRモデルについて検討する。 マルチリンガルASRは, ゼロショットとファインタニングを併用したMLSにおいて, 9.5%と7.5%のWERを達成した。
  論文  参考訳（メタデータ） (2022-11-10T18:43:42Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• AutoTinyBERT: Automatic Hyper-parameter Optimization for Efficient Pre-trained Language Models [46.69439585453071]
  アーキテクチャのハイパーパラメータを自動的に検索するために,NAS(One-shot Neural Architecture Search)を採用している。 具体的には,小型PLMの適応的かつ効率的な開発方法を提供するために,ワンショット学習の技術と検索空間を設計する。 提案手法をAutoTinyBERTと命名し,GLUEおよびSQuADベンチマーク上での有効性を評価する。
  論文  参考訳（メタデータ） (2021-07-29T00:47:30Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context [0.0]
  我々はこの手法をBETと呼び、トランスフォーマーベースのアーキテクチャ上でのバックトランスレーションデータ拡張を分析する。 以上の結果から,BETはMicrosoft Research Paraphrase Corpusのパラフレーズ識別性能を,精度とF1スコアの両方で3%以上向上することが示唆された。
  論文  参考訳（メタデータ） (2020-09-25T22:06:06Z)
• AutoRC: Improving BERT Based Relation Classification Models via Architecture Search [50.349407334562045]
  BERTに基づく関係分類(RC)モデルは、従来のディープラーニングモデルよりも大幅に改善されている。 最適なアーキテクチャとは何かという合意は得られない。 BERTをベースとしたRCモデルのための包括的検索空間を設計し、設計選択を自動的に検出するためにNAS(Neural Architecture Search)手法を用いる。
  論文  参考訳（メタデータ） (2020-09-22T16:55:49Z)
• Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models [56.268862325167575]
  本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。 我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。 我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
  論文  参考訳（メタデータ） (2020-04-04T11:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。