論文の概要: NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts

• arxiv url: http://arxiv.org/abs/2411.05945v1
• Date: Fri, 08 Nov 2024 20:11:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:12:36.566419
• Title: NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts
• Title（参考訳）: NeKo: タスク指向エキスパートによる音声認識生成訂正大言語モデル
• Authors: Yen-Ting Lin, Chao-Han Huck Yang, Zhehuai Chen, Piotr Zelasko, Xuesong Yang, Zih-Ching Chen, Krishna C Puvvada, Szu-Wei Fu, Ke Hu, Jun Wei Chiu, Jagadeesh Balam, Boris Ginsburg, Yu-Chiang Frank Wang,
• Abstract要約: 提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
• 参考スコア（独自算出の注目度）: 57.53692236201343
• License:
• Abstract: Construction of a general-purpose post-recognition error corrector poses a crucial question: how can we most effectively train a model on a large mixture of domain datasets? The answer would lie in learning dataset-specific features and digesting their knowledge in a single model. Previous methods achieve this by having separate correction language models, resulting in a significant increase in parameters. In this work, we present Mixture-of-Experts as a solution, highlighting that MoEs are much more than a scalability tool. We propose a Multi-Task Correction MoE, where we train the experts to become an ``expert'' of speech-to-text, language-to-text and vision-to-text datasets by learning to route each dataset's tokens to its mapped expert. Experiments on the Open ASR Leaderboard show that we explore a new state-of-the-art performance by achieving an average relative $5.0$% WER reduction and substantial improvements in BLEU scores for speech and translation tasks. On zero-shot evaluation, NeKo outperforms GPT-3.5 and Claude-Opus with $15.5$% to $27.6$% relative WER reduction in the Hyporadise benchmark. NeKo performs competitively on grammar and post-OCR correction as a multi-task model.
• Abstract（参考訳）: 汎用的な認識後エラー修正器の構築は,重要な疑問を呈している。ドメインデータセットの大規模な混合に対して,モデルを最も効果的にトレーニングするには,どうすればよいのか? その答えは、データセット固有の特徴を学習し、その知識を単一のモデルで消化することにある。 従来の手法では、異なる修正言語モデルを持つことでこれを実現することができ、パラメータが大幅に増加する。 この記事では、Mixture-of-Expertsをソリューションとして提示し、MoEsがスケーラビリティツール以上のものであることを強調します。 提案するMulti-Task Correction MoEでは,各データセットのトークンをマップ化された専門家にルーティングすることで,専門家に音声・テキスト・言語・テキスト・視覚・テキストデータセットの「専門家」になるよう訓練する。 Open ASR Leaderboardの実験では、平均5.0$%のWER削減と、言語および翻訳タスクにおけるBLEUスコアの大幅な改善によって、新しい最先端のパフォーマンスを探求している。 ゼロショット評価では、NeKo は GPT-3.5 と Claude-Opus を 15.5$% から 27.6$% の相対 WER 削減で上回っている。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。

関連論文リスト

• Scalable Performance Analysis for Vision-Language Models [26.45624201546282]
  統合視覚言語モデルは、様々なタスクセットに対して優れたパフォーマンスを示している。 本稿では、すでにアノテーション付きベンチマークに依存する、よりスケーラブルなソリューションを紹介します。 従来,CLIPは単語の袋のように振る舞い,名詞や動詞でより良く振る舞うことが確認された。
  論文  参考訳（メタデータ） (2023-05-30T06:40:08Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Regularized Training of Nearest Neighbor Language Models [10.994336081018043]
  我々は、トレーニングデータ(メモリバンク)を通じて、トレーニング済みの言語モデルと徹底的な$k$NN検索を用いて、最先端の結果を得る、$k$NN-LM citepkhandelwal20 Generalizationを構築した。 その結果,L2正則化は低周波ワードの性能を劣化させることなく,高周波ワードの性能を向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T23:20:24Z)
• Ranking Creative Language Characteristics in Small Data Scenarios [52.00161818003478]
  DirectRankerを適用して、小さなデータでクリエイティブ言語をランク付けするための、新しいディープモデルを提供します。 スパーストレーニングデータを用いた実験により、標準的なニューラルネットワークのランク付け手法の性能は小さなデータセットで崩壊するが、DirectRankerは依然として有効であることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T18:57:47Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。