論文の概要: Audio-AdapterFusion: A Task-ID-free Approach for Efficient and Non-Destructive Multi-task Speech Recognition

• arxiv url: http://arxiv.org/abs/2310.13015v1
• Date: Tue, 17 Oct 2023 21:21:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-29 16:12:43.399601
• Title: Audio-AdapterFusion: A Task-ID-free Approach for Efficient and Non-Destructive Multi-task Speech Recognition
• Title（参考訳）: audio-adapterfusion:効率良く非破壊的なマルチタスク音声認識のためのタスクidフリーアプローチ
• Authors: Hillary Ngai, Rohan Agrawal, Neeraj Gaur, Ronny Huang, Parisa Haghani, Pedro Moreno Mengibar
• Abstract要約: マルチタスクASRにおける単一タスクアダプタを結合する3つの新しいタスクIDフリー手法を提案する。 提案手法は,完全微調整に比べて平均 WER 改善率8% を達成することができ,タスクID アダプタルーティングと同等である。
• 参考スコア（独自算出の注目度）: 6.029887290228037
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Adapters are an efficient, composable alternative to full fine-tuning of pre-trained models and help scale the deployment of large ASR models to many tasks. In practice, a task ID is commonly prepended to the input during inference to route to single-task adapters for the specified task. However, one major limitation of this approach is that the task ID may not be known during inference, rendering it unsuitable for most multi-task settings. To address this, we propose three novel task-ID-free methods to combine single-task adapters in multi-task ASR and investigate two learning algorithms for training. We evaluate our methods on 10 test sets from 4 diverse ASR tasks and show that our methods are non-destructive and parameter-efficient. While only updating 17% of the model parameters, our methods can achieve an 8% mean WER improvement relative to full fine-tuning and are on-par with task-ID adapter routing.
• Abstract（参考訳）: アダプタは、事前訓練されたモデルの完全な微調整に代わる効率的で構成可能な代替品であり、多くのタスクに大規模なASRモデルの展開をスケールするのに役立ちます。 実際には、タスクIDは、特定のタスクに対するシングルタスクアダプタへのルートの推論中に通常、入力に前置される。 しかし、このアプローチの大きな制限の1つは、タスクIDが推論中に知られておらず、ほとんどのマルチタスク設定には適さないことである。 そこで本研究では,マルチタスクASRにおける単一タスクアダプタを組み合わせるための3つの新しいタスクIDフリー手法を提案する。 提案手法は4つのasrタスクから10個のテストセットで評価し,非破壊的かつパラメータ効率が高いことを示す。 モデルパラメータの17%しか更新できないが、我々の手法は完全な微調整に比べて平均的なWER改善を8%達成でき、タスクIDアダプタルーティングと同等である。

関連論文リスト

• Task-Adapter: Task-specific Adaptation of Image Models for Few-shot Action Recognition [34.88916568947695]
  簡単なタスク固有適応法(Task-Adapter)を提案する。 提案したTask-Adapterをバックボーンの最後のいくつかのレイヤに導入することで、フル微調整によるオーバーフィッティング問題を軽減します。 実験結果から,提案したタスクアダプタが標準の4つのアクション認識データセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-01T03:06:56Z)
• Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
  マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。 マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。 以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
  論文  参考訳（メタデータ） (2024-01-20T05:31:47Z)
• VMT-Adapter: Parameter-Efficient Transfer Learning for Multi-Task Dense Scene Understanding [6.816428690763012]
  大規模な事前訓練モデルを活用するための標準的なアプローチは、下流タスクのすべてのモデルパラメータを微調整することである。 本稿では,複数のタスクから知識を共有するVMT-Adapterを提案する。 また、ダウンプロジェクションとアッププロジェクションの間で共有パラメータを学習することで、トレーニング可能なパラメータをさらに削減するVMT-Adapter-Liteを提案する。
  論文  参考訳（メタデータ） (2023-12-14T08:25:04Z)
• TaskWeb: Selecting Better Source Tasks for Multi-task NLP [76.03221609799931]
  ペアワイズタスク転送によるタスク関係の認識は、新しいターゲットタスクの学習に役立つ1つ以上のソースタスクの選択を改善する。 私たちはTaskWebを使って、新しいターゲットタスクの学習にソースタスクを使うことの利点を推定し、マルチタスクトレーニングに有用なトレーニングタスクのサブセットを選択する。 本手法は,ソースタスクの総合ランキングとトップk精度をそれぞれ10%,トップk精度を38%向上させる。
  論文  参考訳（メタデータ） (2023-05-22T17:27:57Z)
• Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning [43.639430661322585]
  マルチタスク・プロンプト・チューニング(MPT)を提案する。 MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。 次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
  論文  参考訳（メタデータ） (2023-03-06T03:25:59Z)
• OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models [72.8156832931841]
  ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。 マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
  論文  参考訳（メタデータ） (2022-12-08T17:07:09Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。