論文の概要: Toward Low-Cost End-to-End Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2207.00352v1
• Date: Fri, 1 Jul 2022 11:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 19:05:16.182675
• Title: Toward Low-Cost End-to-End Spoken Language Understanding
• Title（参考訳）: 低コストエンドツーエンド言語理解に向けて
• Authors: Marco Dinarelli and Marco Naguib and Fran\c{c}ois Portet
• Abstract要約: 自己監督型モデルは、音声言語理解において顕著な進歩をもたらした。 これらの進歩は、計算時間とエネルギー消費の点で無視できないコストを持つ。 競争性能を維持しながら、このようなコストを削減しようとするいくつかの学習戦略を比較します。
• 参考スコア（独自算出の注目度）: 3.265773263570237
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advances in spoken language understanding benefited from Self-Supervised models trained on large speech corpora. For French, the LeBenchmark project has made such models available and has led to impressive progress on several tasks including spoken language understanding. These advances have a non-negligible cost in terms of computation time and energy consumption. In this paper, we compare several learning strategies trying to reduce such cost while keeping competitive performance. At the same time we propose an extensive analysis where we measure the cost of our models in terms of training time and electric energy consumption, hopefully promoting a comprehensive evaluation procedure. The experiments are performed on the FSC and MEDIA corpora, and show that it is possible to reduce the learning cost while maintaining state-of-the-art performance and using SSL models.
• Abstract（参考訳）: 最近の音声言語理解の進歩は、大きな音声コーパスで訓練された自己教師付きモデルから恩恵を受けた。 フランス語では、lebenchmarkプロジェクトはそのようなモデルを利用可能にし、音声言語理解を含むいくつかのタスクで印象的な進歩をもたらした。 これらの進歩は計算時間とエネルギー消費の点で無視できないコストを持つ。 本稿では,競争性能を維持しつつ,このようなコスト削減を図る学習戦略について比較する。 同時に、トレーニング時間と電力消費の観点からモデルのコストを計測し、総合的な評価手順を推進できる広範囲な分析手法を提案する。 実験はFSCとMEDIAコーパスで行われ、最先端性能を維持しながらSSLモデルを用いて学習コストを削減可能であることを示す。

関連論文リスト

• InstructionCP: A fast approach to transfer Large Language Models into target language [55.2480439325792]
  InsCPは命令タグをCPプロセスに統合し、新しい言語を習得する際の会話能力の喪失を防ぐ。 実験の結果,InsCPは人間のフィードバック能力から会話と強化学習を維持していることがわかった。 このアプローチでは、高品質な命令追従データを0.1億トークンしか必要とせず、それによってリソース消費が減少する。
  論文  参考訳（メタデータ） (2024-05-30T15:45:13Z)
• LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource Languages [1.149936119867417]
  低リソース言語は、限られた言語資源とデータラベリングの専門知識のために、AI開発において重大な障壁に直面している。 データアノテーションのアクティブ学習ループにおけるLLMの可能性を活用することを提案する。 GPT-4-Turboを用いた実証的な評価では、データ要求が大幅に削減され、最先端の性能が実証された。
  論文  参考訳（メタデータ） (2024-04-02T19:34:22Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Accelerating Vision-Language Pretraining with Free Language Modeling [62.30042851111692]
  自由言語モデリング(FLM)は、任意の汚職率で100%予測レートを実現する。 FLMは、汚職率との整合性から予測率を解放する。 実験の結果、FLMは2.5倍の事前訓練時間短縮を達成できた。
  論文  参考訳（メタデータ） (2023-03-24T14:49:22Z)
• Vers la compr\'ehension automatique de la parole bout-en-bout \`a moindre effort [3.265773263570237]
  音声理解の最近の進歩は、大規模音声コーパスで訓練された自己監督モデルの恩恵を受けている。 これらの進歩は、時間とエネルギー消費の点で無視できないコストを持つ。 競争性能を維持しながら、このようなコスト削減を目的とした学習戦略をいくつか比較する。
  論文  参考訳（メタデータ） (2022-07-01T11:29:59Z)
• On the Economics of Multilingual Few-shot Learning: Modeling the Cost-Performance Trade-offs of Machine Translated and Manual Data [12.638781962950805]
  本稿では,機械翻訳データと手作業で作成したラベル付きデータのパフォーマンスとコストのトレードオフを評価するためのフレームワークを提案する。 本稿では,TyDIQA-GoldPデータセットのケーススタディによるフレームワークの有効性について述べる。
  論文  参考訳（メタデータ） (2022-05-12T20:27:01Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• The Cost of Training NLP Models: A Concise Overview [8.598232614988806]
  大規模言語モデルを訓練するコストと、これらのコストの要因についてレビューする。 対象者には、モデルトレーニングの実験を予算化するエンジニアや科学者、現代の自然言語処理(NLP)の経済性を理解しようとする非専門家が含まれる。
  論文  参考訳（メタデータ） (2020-04-19T16:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。