論文の概要: Multilingual Text Classification for Dravidian Languages

• arxiv url: http://arxiv.org/abs/2112.01705v1
• Date: Fri, 3 Dec 2021 04:26:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 15:21:28.618567
• Title: Multilingual Text Classification for Dravidian Languages
• Title（参考訳）: ドラビダ語の多言語テキスト分類
• Authors: Xiaotian Lin, Nankai Lin, Kanoksak Wattanachote, Shengyi Jiang, Lianxi Wang
• Abstract要約: そこで我々はDravidian言語のための多言語テキスト分類フレームワークを提案する。 一方、フレームワークはLaBSE事前訓練モデルをベースモデルとして使用した。 一方,モデルが言語間の相関を十分に認識・活用できないという問題を考慮し,さらに言語固有の表現モジュールを提案する。
• 参考スコア（独自算出の注目度）: 4.264592074410622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the fourth largest language family in the world, the Dravidian languages have become a research hotspot in natural language processing (NLP). Although the Dravidian languages contain a large number of languages, there are relatively few public available resources. Besides, text classification task, as a basic task of natural language processing, how to combine it to multiple languages in the Dravidian languages, is still a major difficulty in Dravidian Natural Language Processing. Hence, to address these problems, we proposed a multilingual text classification framework for the Dravidian languages. On the one hand, the framework used the LaBSE pre-trained model as the base model. Aiming at the problem of text information bias in multi-task learning, we propose to use the MLM strategy to select language-specific words, and used adversarial training to perturb them. On the other hand, in view of the problem that the model cannot well recognize and utilize the correlation among languages, we further proposed a language-specific representation module to enrich semantic information for the model. The experimental results demonstrated that the framework we proposed has a significant performance in multilingual text classification tasks with each strategy achieving certain improvements.
• Abstract（参考訳）: 世界で4番目に大きな言語ファミリーであるドラヴィダ語は、自然言語処理(NLP)の研究ホットスポットとなっている。 ドラヴィダ語には多数の言語が含まれているが、公共の資源は比較的少ない。 さらに、自然言語処理の基本的なタスクであるテキスト分類タスクは、ドラヴィダ語における複数の言語とどのように組み合わせるかは、ドラヴィダ語自然言語処理において依然として大きな困難である。 そこで,これらの問題に対処するために,ドレイダ諸語を対象とした多言語テキスト分類フレームワークを提案した。 一方、フレームワークはLaBSE事前訓練モデルをベースモデルとして使用した。 マルチタスク学習におけるテキスト情報のバイアスの問題に着目し,MLM戦略を用いて言語固有の単語を選択することを提案する。 一方,モデルが言語間の相関を十分に認識・活用できないという問題を考えると,モデルの意味情報を豊かにするための言語固有の表現モジュールも提案した。 実験の結果,提案手法は多言語テキスト分類タスクにおいて有意な性能を示し,それぞれの戦略で一定の改善が得られた。

関連論文リスト

• Prompt Engineering Using GPT for Word-Level Code-Mixed Language Identification in Low-Resource Dravidian Languages [0.0]
  インドのような多言語社会では、テキストはしばしばコードミキシングを示し、異なる言語レベルで現地の言語と英語をブレンドする。 本稿では,Dravidian言語における単語レベルのLI課題への対処を目的とした,共有タスクのプロンプトベース手法を提案する。 本研究では,GPT-3.5 Turboを用いて,大言語モデルが単語を正しいカテゴリに分類できるかどうかを検証した。
  論文  参考訳（メタデータ） (2024-11-06T16:20:37Z)
• GradSim: Gradient-Based Language Grouping for Effective Multilingual Training [13.730907708289331]
  勾配類似度に基づく言語グループ化手法GradSimを提案する。 3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。 言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
  論文  参考訳（メタデータ） (2023-10-23T18:13:37Z)
• The Less the Merrier? Investigating Language Representation in Multilingual Models [8.632506864465501]
  多言語モデルにおける言語表現について検討する。 我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
  論文  参考訳（メタデータ） (2023-10-20T02:26:34Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan [0.05277024349608833]
  この研究はカタルーニャ語に焦点を当て、中規模のモノリンガル言語モデルが最先端の大規模多言語モデルとどの程度競合するかを探求することを目的としている。 クリーンで高品質なカタルーニャ語コーパス(CaText)を構築し、カタルーニャ語(BERTa)のためのトランスフォーマーベースの言語モデルを訓練し、様々な設定で徹底的に評価する。 その結果,カタルーニャ語理解ベンチマーク(CLUB, Catalan Language Understanding Benchmark)が,オープンリソースとして公開された。
  論文  参考訳（メタデータ） (2021-07-16T13:52:01Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。