論文の概要: NSINA: A News Corpus for Sinhala

• arxiv url: http://arxiv.org/abs/2403.16571v1
• Date: Mon, 25 Mar 2024 09:36:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 15:18:23.205305
• Title: NSINA: A News Corpus for Sinhala
• Title（参考訳）: NSINA: Sinhalaのニュースコーパス
• Authors: Hansi Hettiarachchi, Damith Premasiri, Lasitha Uyangodage, Tharindu Ranasinghe,
• Abstract要約: NSINAは、人気のあるシンハラのニュースサイトから50万記事の総合ニュースコーパスである。 NSINAはシンハラ最大のニュースコーパスで、現在まで利用可能である。
• 参考スコア（独自算出の注目度）: 6.535353222096666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The introduction of large language models (LLMs) has advanced natural language processing (NLP), but their effectiveness is largely dependent on pre-training resources. This is especially evident in low-resource languages, such as Sinhala, which face two primary challenges: the lack of substantial training data and limited benchmarking datasets. In response, this study introduces NSINA, a comprehensive news corpus of over 500,000 articles from popular Sinhala news websites, along with three NLP tasks: news media identification, news category prediction, and news headline generation. The release of NSINA aims to provide a solution to challenges in adapting LLMs to Sinhala, offering valuable resources and benchmarks for improving NLP in the Sinhala language. NSINA is the largest news corpus for Sinhala, available up to date.
• Abstract（参考訳）: 大規模言語モデル (LLM) の導入は、高度な自然言語処理 (NLP) を備えているが、その有効性は、トレーニング前のリソースに大きく依存している。 これはSinhalaのような低リソース言語では特に顕著で、2つの大きな課題に直面している。 本研究は,ニュースメディア識別,ニュースカテゴリ予測,ニュース見出し生成という3つのNLPタスクとともに,人気のあるシンハラニュースサイトから50万記事の包括的ニュースコーパスであるNSINAを紹介する。 NSINAのリリースは、Sinhala言語でNLPを改善するための貴重なリソースとベンチマークを提供する、SinhalaにLLMを適用する際の課題に対する解決策を提供することを目的としている。 NSINAはシンハラ最大のニュースコーパスで、現在まで利用可能である。

関連論文リスト

• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Replicable Benchmarking of Neural Machine Translation (NMT) on Low-Resource Local Languages in Indonesia [4.634142034755327]
  本研究は,インドネシアの4つの低リソースローカル言語(ジャワ語,スンダ語,ミナンカバウ語,バリンセ語)を対象としたNMTシステムの訓練を包括的に分析する。 我々の研究は、限られた計算資源とテキストデータにもかかわらず、いくつかのNMTシステムが競合性能を達成することを実証している。
  論文  参考訳（メタデータ） (2023-11-02T05:27:48Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Neural Machine Translation for the Indigenous Languages of the Americas: An Introduction [102.13536517783837]
  アメリカ大陸のほとんどの言語は、もしあるならば、並列データと単言語データしか持たない。 これらの言語におけるNLPコミュニティの関心が高まった結果、最近の進歩、発見、オープンな質問について論じる。
  論文  参考訳（メタデータ） (2023-06-11T23:27:47Z)
• Can Character-based Language Models Improve Downstream Task Performance in Low-Resource and Noisy Language Scenarios? [0.0]
  我々は、ナラビジ(NArabizi)と呼ばれるラテン文字の拡張を用いて書かれた北アフリカ方言のアラビア語に焦点を当てている。 ナラビジの99k文のみを学習し,小さな木バンクで微調整したキャラクタベースモデルは,大規模多言語モデルとモノリンガルモデルで事前学習した同じアーキテクチャで得られたものに近い性能を示す。
  論文  参考訳（メタデータ） (2021-10-26T14:59:16Z)
• KINNEWS and KIRNEWS: Benchmarking Cross-Lingual Text Classification for Kinyarwanda and Kirundi [18.01565807026177]
  我々はKinyarwandaとKirndiという低リソースのアフリカの2つの言語でニュース記事の分類のための2つのニュースデータセットを紹介した。 統計情報、事前処理のガイドライン、単言語および言語間ベースラインモデルを提供する。 実験の結果, 比較的高出力のKinyarwandaへの埋め込みを訓練することで, キルンディへの言語間移動が成功することがわかった。
  論文  参考訳（メタデータ） (2020-10-23T05:37:42Z)
• OCNLI: Original Chinese Natural Language Inference [21.540733910984006]
  我々は,中国における最初の大規模NLIデータセット(56,000の注釈付き文対からなる)であるOriginal Chinese Natural Language Inference dataset(OCNLI)を提示する。 NLIを他の言語に拡張しようとする最近の試みとは異なり、私たちのデータセットは自動翻訳や非専門家アノテーションに依存していません。 我々は、中国語の最先端の事前訓練モデルを用いて、データセット上でいくつかのベースライン結果を確立し、人間のパフォーマンスよりもはるかに優れたパフォーマンスモデルを見つける。
  論文  参考訳（メタデータ） (2020-10-12T04:25:48Z)
• Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation [54.52971020087777]
  モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。 自己監督は多言語モデルのゼロショット翻訳品質を改善する。 並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
  論文  参考訳（メタデータ） (2020-05-11T00:20:33Z)
• Soft Gazetteers for Low-Resource Named Entity Recognition [78.00856159473393]
  本稿では、英語知識ベースからユビキタスに利用可能な情報をニューラル名付きエンティティ認識モデルに組み込む「ソフトガゼッタ」を提案する。 4つの低リソース言語に対する実験により,F1得点の4点の平均的改善が示された。
  論文  参考訳（メタデータ） (2020-05-04T21:58:02Z)
• Pre-training via Leveraging Assisting Languages and Data Selection for Neural Machine Translation [49.51278300110449]
  興味のある言語に対する単言語コーパスの不足を補うために,他の言語の単言語コーパスを活用することを提案する。 低リソースの日英ニューラルマシン翻訳(NMT)のケーススタディでは、中国語とフランス語のモノリンガルコーパスを活用することで、日本語と英語のモノリンガルコーパスの不足を克服できることが示された。
  論文  参考訳（メタデータ） (2020-01-23T02:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。