論文の概要: Natural Language Processing for Dialects of a Language: A Survey

• arxiv url: http://arxiv.org/abs/2401.05632v3
• Date: Wed, 18 Sep 2024 00:02:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 23:35:48.036973
• Title: Natural Language Processing for Dialects of a Language: A Survey
• Title（参考訳）: 自然言語による方言の自然言語処理に関する調査
• Authors: Aditya Joshi, Raj Dabre, Diptesh Kanojia, Zhuang Li, Haolan Zhan, Gholamreza Haffari, Doris Dippold,
• Abstract要約: 最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
• 参考スコア（独自算出の注目度）: 56.93337350526933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art natural language processing (NLP) models are trained on massive training corpora, and report a superlative performance on evaluation datasets. This survey delves into an important attribute of these datasets: the dialect of a language. Motivated by the performance degradation of NLP models for dialectic datasets and its implications for the equity of language technologies, we survey past research in NLP for dialects in terms of datasets, and approaches. We describe a wide range of NLP tasks in terms of two categories: natural language understanding (NLU) (for tasks such as dialect classification, sentiment analysis, parsing, and NLU benchmarks) and natural language generation (NLG) (for summarisation, machine translation, and dialogue systems). The survey is also broad in its coverage of languages which include English, Arabic, German among others. We observe that past work in NLP concerning dialects goes deeper than mere dialect classification, and . This includes early approaches that used sentence transduction that lead to the recent approaches that integrate hypernetworks into LoRA. We expect that this survey will be useful to NLP researchers interested in building equitable language technologies by rethinking LLM benchmarks and model architectures.
• Abstract（参考訳）: 最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々は,データセットの観点からのNLPにおける過去の研究を調査した。 自然言語理解(NLU)(方言分類,感情分析,構文解析,NLUベンチマークなどのタスク)と自然言語生成(NLG)(要約,機械翻訳,対話システム)の2つのカテゴリに分類される。 この調査はまた、英語、アラビア語、ドイツ語などを含む言語をカバーしている。 我々は,NLPにおける方言に関する過去の研究が,単なる方言分類よりも深くなっていることを観察する。 これには、ハイパーネットワークをLoRAに統合する最近のアプローチに繋がる、文のトランスダクションを使った初期のアプローチが含まれる。 この調査は,LLMベンチマークやモデルアーキテクチャを再考することによって,公平な言語技術の構築に関心を持つNLP研究者にとって有用であることが期待されている。

関連論文リスト

• DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages [49.38663048447942]
  DIALECTBENCHは,NLPの品種に対する大規模ベンチマークとして初めて提案される。 これにより、異なる言語でNLPシステムの性能を総合的に評価することができる。 標準言語と非標準言語間の性能格差の相当な証拠を提供する。
  論文  参考訳（メタデータ） (2024-03-16T20:18:36Z)
• Ling-CL: Understanding NLP Models through Linguistic Curricula [17.44112549879293]
  我々は精神言語学と言語習得研究から言語複雑性の特徴づけを取り入れている。 我々は、モデルがNLPタスクに対処するために学習する基礎となる言語知識を理解するために、データ駆動型カリキュラムを開発する。
  論文  参考訳（メタデータ） (2023-10-31T01:44:33Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Improving Natural Language Inference in Arabic using Transformer Models and Linguistically Informed Pre-Training [0.34998703934432673]
  本稿では,自然言語処理分野におけるアラビア語テキストデータの分類について述べる。 この制限を克服するため、公開リソースから専用のデータセットを作成します。 言語固有モデル (AraBERT) が最先端の多言語アプローチと競合することがわかった。
  論文  参考訳（メタデータ） (2023-07-27T07:40:11Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Dataset Geography: Mapping Language Data to Language Users [17.30955185832338]
  本研究では,NLPデータセットが言語話者の期待するニーズにどの程度一致しているかを定量化することを目的として,NLPデータセットの地理的代表性について検討する。 その際、エンティティ認識とリンクシステムを使用し、言語間の一貫性について重要な観察を行う。 最後に,観測された分布データセットを説明するための地理的・経済的要因について検討する。
  論文  参考訳（メタデータ） (2021-12-07T05:13:50Z)
• FedNLP: A Research Platform for Federated Learning in Natural Language Processing [55.01246123092445]
  NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
  論文  参考訳（メタデータ） (2021-04-18T11:04:49Z)
• Automatically Identifying Language Family from Acoustic Examples in Low Resource Scenarios [48.57072884674938]
  ディープラーニングを用いて言語類似性を解析する手法を提案する。 すなわち、Willernessデータセットのモデルをトレーニングし、その潜在空間が古典的な言語家族の発見とどのように比較されるかを調べる。
  論文  参考訳（メタデータ） (2020-12-01T22:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。