論文の概要: Benchmarking Transformers-based models on French Spoken Language Understanding tasks

• arxiv url: http://arxiv.org/abs/2207.09152v1
• Date: Tue, 19 Jul 2022 09:47:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 13:00:44.239420
• Title: Benchmarking Transformers-based models on French Spoken Language Understanding tasks
• Title（参考訳）: フランス語音声理解タスクにおけるベンチマークトランスフォーマティブに基づくモデル
• Authors: Oralie Cattan, Sahar Ghannay, Christophe Servan and Sophie Rosset
• Abstract要約: 我々は、フランス語の2つの音声言語理解タスク(MEDIAとATIS-FR)をトランスフォーマーベースモデルでベンチマークした。 コンパクトモデルでは大きなモデルに匹敵する結果が得られるが、生態学的影響は極めて低い。
• 参考スコア（独自算出の注目度）: 4.923118300276026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the last five years, the rise of the self-attentional Transformer-based architectures led to state-of-the-art performances over many natural language tasks. Although these approaches are increasingly popular, they require large amounts of data and computational resources. There is still a substantial need for benchmarking methodologies ever upwards on under-resourced languages in data-scarce application conditions. Most pre-trained language models were massively studied using the English language and only a few of them were evaluated on French. In this paper, we propose a unified benchmark, focused on evaluating models quality and their ecological impact on two well-known French spoken language understanding tasks. Especially we benchmark thirteen well-established Transformer-based models on the two available spoken language understanding tasks for French: MEDIA and ATIS-FR. Within this framework, we show that compact models can reach comparable results to bigger ones while their ecological impact is considerably lower. However, this assumption is nuanced and depends on the considered compression method.
• Abstract（参考訳）: 過去5年間で、自己注意型トランスフォーマーベースのアーキテクチャの台頭は、多くの自然言語タスクに対して最先端のパフォーマンスをもたらした。 これらのアプローチはますます普及しているが、大量のデータと計算資源を必要とする。 データscarceアプリケーション条件において、非ソース言語に上向きのベンチマーク手法がいまだに必要である。 ほとんどの事前学習された言語モデルは英語を用いて大規模に研究され、フランス語による評価はごくわずかであった。 本稿では,2つの有名なフランス語言語理解タスクにおけるモデル品質とその生態的影響を評価することを目的とした統一ベンチマークを提案する。 特に、フランス語で利用可能な2つの言語理解タスクであるMEDIAとATIS-FRについて、13のよく確立されたTransformerベースのモデルをベンチマークする。 このフレームワーク内では、コンパクトモデルがより大きなモデルに匹敵する結果に到達できるが、その生態的影響は極めて低い。 しかし、この仮定はニュアンスであり、考慮された圧縮方法に依存する。

関連論文リスト

• CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
  英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。 我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。 英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
  論文  参考訳（メタデータ） (2024-02-01T17:17:55Z)
• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese [4.4681678689625715]
  低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。 新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。 スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
  論文  参考訳（メタデータ） (2022-05-21T06:44:59Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• Indic-Transformers: An Analysis of Transformer Language Models for Indian Languages [0.8155575318208631]
  Transformerアーキテクチャに基づく言語モデルは、幅広いNLPタスクにおいて最先端のパフォーマンスを達成した。 しかしながら、このパフォーマンスは通常、英語、フランス語、スペイン語、ドイツ語などの高リソース言語でテストされ、報告される。 一方、インドの言語はそのようなベンチマークでは表現されていない。
  論文  参考訳（メタデータ） (2020-11-04T14:43:43Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Pre-training Polish Transformer-based Language Models at Scale [1.0312968200748118]
  本稿では,人気のあるBERTアーキテクチャに基づくポーランド語のための2つの言語モデルを提案する。 本稿では,データを収集し,コーパスを作成し,モデルを事前学習するための方法論について述べる。 次に、ポーランド語の13の課題について、我々のモデルを評価し、そのうち11つの改善点を実証する。
  論文  参考訳（メタデータ） (2020-06-07T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。