論文の概要: Location-based Twitter Filtering for the Creation of Low-Resource
Language Datasets in Indonesian Local Languages
- arxiv url: http://arxiv.org/abs/2206.07238v1
- Date: Wed, 15 Jun 2022 01:53:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 12:46:58.718273
- Title: Location-based Twitter Filtering for the Creation of Low-Resource
Language Datasets in Indonesian Local Languages
- Title(参考訳): インドネシアのローカル言語における低リソース言語データセット作成のための位置ベースのtwitterフィルタリング
- Authors: Mukhlis Amien, Chong Feng, Heyan Huang
- Abstract要約: インドネシア語などの低リソース言語におけるユーザ生成コンテンツに対するTwitterの検討を行った。
本稿では,インドネシアのNLPデータセットを構築する際に直面する問題点について述べる。
NLPのためのローカルインドネシアのデータセットの作成、収集、分類のためのフレームワークを開発しています。
- 参考スコア(独自算出の注目度): 34.88325684985686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Twitter contains an abundance of linguistic data from the real world. We
examine Twitter for user-generated content in low-resource languages such as
local Indonesian. For NLP to work in Indonesian, it must consider local
dialects, geographic context, and regional culture influence Indonesian
languages. This paper identifies the problems we faced when constructing a
Local Indonesian NLP dataset. Furthermore, we are developing a framework for
creating, collecting, and classifying Local Indonesian datasets for NLP. Using
twitter's geolocation tool for automatic annotating.
- Abstract(参考訳): Twitterには、現実世界の言語データが多く含まれている。
インドネシア語などの低リソース言語におけるユーザ生成コンテンツに対するTwitterの検討を行った。
NLPがインドネシア語で働くためには、現地の方言、地理的文脈、地域文化がインドネシア語に影響を与える必要がある。
本稿では,インドネシアのnlpデータセット構築時の問題点を明らかにする。
さらに,インドネシアのnlp用データセットの作成,収集,分類のためのフレームワークを開発した。
自動アノテートにtwitterのジオロケーションツールを使用する。
関連論文リスト
- Natural Language Processing for Dialects of a Language: A Survey [59.78833854847185]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。
この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。
方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文 参考訳(メタデータ) (2024-01-11T03:04:38Z) - IndoRobusta: Towards Robustness Against Diverse Code-Mixed Indonesian
Local Languages [62.60787450345489]
インドネシア語で4つの組込み言語、すなわち英語、スンダ語、ジャワ語、マレー語のコードミキシングについて検討する。
我々の分析は、事前学習されたコーパスバイアスが、インドネシアと英語のコードミキシングをよりうまく処理するモデルの能力に影響することを示している。
論文 参考訳(メタデータ) (2023-11-21T07:50:53Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳(メタデータ) (2023-09-19T14:42:33Z) - NusaCrowd: Open Source Initiative for Indonesian NLP Resources [104.5381571820792]
NusaCrowdは、インドネシア語の既存のリソースを収集し、統一する共同イニシアチブである。
我々の研究は、広く話されているにもかかわらず表現されていない言語に対する自然言語処理(NLP)の研究を進めようとしている。
論文 参考訳(メタデータ) (2022-12-19T17:28:22Z) - NusaCrowd: A Call for Open and Reproducible NLP Research in Indonesian
Languages [20.051904366350293]
NusaCrowdは、すべてのインドネシア言語におけるNLPタスクの標準化されたデータローディングによる、最大のクラウドソーシングアグリゲーションの提供を目指している。
インドネシアのNLPリソースへのオープンかつ集中的なアクセスを可能にすることで、NusaCrowdがインドネシアにおけるNLPの進展を妨げるデータ不足問題に対処できることを願っています。
論文 参考訳(メタデータ) (2022-07-21T15:05:42Z) - NusaX: Multilingual Parallel Sentiment Dataset for 10 Indonesian Local
Languages [100.59889279607432]
インドネシアにおける言語の資源開発に重点を置いている。
インドネシアのほとんどの言語は絶滅危惧種に分類され、一部は絶滅している。
インドネシアで10の低リソース言語を対象とした,最初の並列リソースを開発した。
論文 参考訳(メタデータ) (2022-05-31T17:03:50Z) - IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model
for Indonesian NLP [41.57622648924415]
インドネシア語は2億人近い人々によって話されており、世界で10番目に話されている言語である。
インドネシアにおけるこれまでの作業は、注釈付きデータセットの欠如、言語リソースの多さ、リソースの標準化の欠如によって妨げられていた。
IndoLEMデータセットはインドネシア語の7つのタスクからなる。
さらにインドネシア語のための新しい訓練済み言語モデルであるIndoBERTをリリースし、IndoLEMで評価する。
論文 参考訳(メタデータ) (2020-11-02T01:54:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。