論文の概要: Toward Low-Cost End-to-End Spoken Language Understanding
- arxiv url: http://arxiv.org/abs/2207.00352v1
- Date: Fri, 1 Jul 2022 11:40:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-04 19:05:16.182675
- Title: Toward Low-Cost End-to-End Spoken Language Understanding
- Title(参考訳): 低コストエンドツーエンド言語理解に向けて
- Authors: Marco Dinarelli and Marco Naguib and Fran\c{c}ois Portet
- Abstract要約: 自己監督型モデルは、音声言語理解において顕著な進歩をもたらした。
これらの進歩は、計算時間とエネルギー消費の点で無視できないコストを持つ。
競争性能を維持しながら、このようなコストを削減しようとするいくつかの学習戦略を比較します。
- 参考スコア(独自算出の注目度): 3.265773263570237
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent advances in spoken language understanding benefited from
Self-Supervised models trained on large speech corpora. For French, the
LeBenchmark project has made such models available and has led to impressive
progress on several tasks including spoken language understanding. These
advances have a non-negligible cost in terms of computation time and energy
consumption. In this paper, we compare several learning strategies trying to
reduce such cost while keeping competitive performance. At the same time we
propose an extensive analysis where we measure the cost of our models in terms
of training time and electric energy consumption, hopefully promoting a
comprehensive evaluation procedure. The experiments are performed on the FSC
and MEDIA corpora, and show that it is possible to reduce the learning cost
while maintaining state-of-the-art performance and using SSL models.
- Abstract(参考訳): 最近の音声言語理解の進歩は、大きな音声コーパスで訓練された自己教師付きモデルから恩恵を受けた。
フランス語では、lebenchmarkプロジェクトはそのようなモデルを利用可能にし、音声言語理解を含むいくつかのタスクで印象的な進歩をもたらした。
これらの進歩は計算時間とエネルギー消費の点で無視できないコストを持つ。
本稿では,競争性能を維持しつつ,このようなコスト削減を図る学習戦略について比較する。
同時に、トレーニング時間と電力消費の観点からモデルのコストを計測し、総合的な評価手順を推進できる広範囲な分析手法を提案する。
実験はFSCとMEDIAコーパスで行われ、最先端性能を維持しながらSSLモデルを用いて学習コストを削減可能であることを示す。
関連論文リスト
- Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳(メタデータ) (2024-03-04T10:48:13Z) - An energy-based comparative analysis of common approaches to text
classification in the Legal domain [0.856335408411906]
大規模言語モデル(LLM)は、学術や産業におけるNLP問題に対処するために広く採用されている。
本稿では,LexGLUEベンチマークでLLMと従来のアプローチ(SVMなど)を詳細に比較する。
その結果、最も単純なアルゴリズムは大きなLLMに非常に近い性能を達成できることがわかった。
論文 参考訳(メタデータ) (2023-11-02T14:16:48Z) - RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder
Language Models [60.53467388496444]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。
我々は、RAVENがATLASを著しく上回り、特定のシナリオにおいて最も先進的な言語モデルに匹敵する結果が得られることを示した。
論文 参考訳(メタデータ) (2023-08-15T17:59:18Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳(メタデータ) (2023-05-23T17:55:11Z) - Accelerating Vision-Language Pretraining with Free Language Modeling [62.30042851111692]
自由言語モデリング(FLM)は、任意の汚職率で100%予測レートを実現する。
FLMは、汚職率との整合性から予測率を解放する。
実験の結果、FLMは2.5倍の事前訓練時間短縮を達成できた。
論文 参考訳(メタデータ) (2023-03-24T14:49:22Z) - GreenPLM: Cross-Lingual Transfer of Monolingual Pre-Trained Language
Models at Almost No Cost [7.510253441699812]
本研究では,両言語レキシコンを用いて事前学習した言語モデルを直接他の言語に翻訳するGreenPLMというフレームワークを提案する。
このアプローチを18言語のBERTモデルで検証し、このフレームワークが、トレーニングコストの高い他のフレームワークに匹敵するものであることを示す。
7つのテスト言語のうち6つで、このフレームワークは、トレーニング前の最大200倍の労力で、元のモノリンガル言語モデルより優れています。
論文 参考訳(メタデータ) (2022-11-13T18:59:15Z) - Vers la compr\'ehension automatique de la parole bout-en-bout \`a
moindre effort [3.265773263570237]
音声理解の最近の進歩は、大規模音声コーパスで訓練された自己監督モデルの恩恵を受けている。
これらの進歩は、時間とエネルギー消費の点で無視できないコストを持つ。
競争性能を維持しながら、このようなコスト削減を目的とした学習戦略をいくつか比較する。
論文 参考訳(メタデータ) (2022-07-01T11:29:59Z) - On the Economics of Multilingual Few-shot Learning: Modeling the
Cost-Performance Trade-offs of Machine Translated and Manual Data [12.638781962950805]
本稿では,機械翻訳データと手作業で作成したラベル付きデータのパフォーマンスとコストのトレードオフを評価するためのフレームワークを提案する。
本稿では,TyDIQA-GoldPデータセットのケーススタディによるフレームワークの有効性について述べる。
論文 参考訳(メタデータ) (2022-05-12T20:27:01Z) - Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。
すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
論文 参考訳(メタデータ) (2021-10-09T07:00:38Z) - The Cost of Training NLP Models: A Concise Overview [8.598232614988806]
大規模言語モデルを訓練するコストと、これらのコストの要因についてレビューする。
対象者には、モデルトレーニングの実験を予算化するエンジニアや科学者、現代の自然言語処理(NLP)の経済性を理解しようとする非専門家が含まれる。
論文 参考訳(メタデータ) (2020-04-19T16:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。