論文の概要: V\=arta: A Large-Scale Headline-Generation Dataset for Indic Languages

• arxiv url: http://arxiv.org/abs/2305.05858v1
• Date: Wed, 10 May 2023 03:07:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 14:35:22.643388
• Title: V\=arta: A Large-Scale Headline-Generation Dataset for Indic Languages
• Title（参考訳）: V\=arta: インデックス言語のための大規模見出し生成データセット
• Authors: Rahul Aralikatte, Ziling Cheng, Sumanth Doddapaneni, Jackie Chi Kit Cheung
• Abstract要約: このデータセットには14の異なるIndic言語(および英語)の480万のニュース記事が含まれている。 私たちの知る限りでは、現在利用可能なIndic言語のキュレートされた記事のコレクションとしては、これが最大です。
• 参考スコア（独自算出の注目度）: 21.018996007110324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present V\=arta, a large-scale multilingual dataset for headline generation in Indic languages. This dataset includes 41.8 million news articles in 14 different Indic languages (and English), which come from a variety of high-quality sources. To the best of our knowledge, this is the largest collection of curated articles for Indic languages currently available. We use the data collected in a series of experiments to answer important questions related to Indic NLP and multilinguality research in general. We show that the dataset is challenging even for state-of-the-art abstractive models and that they perform only slightly better than extractive baselines. Owing to its size, we also show that the dataset can be used to pretrain strong language models that outperform competitive baselines in both NLU and NLG benchmarks.
• Abstract（参考訳）: Indic言語における見出し生成のための大規模多言語データセットであるV\=artaを提案する。 このデータセットには、14の異なるIndic言語(および英語)の418万のニュース記事が含まれている。 私たちの知る限りでは、現在利用可能なIndic言語のキュレートされた記事の最大のコレクションです。 我々は、一連の実験で収集されたデータを用いて、Indic NLPと多言語研究に関する重要な質問に答える。 その結果,データ集合は最先端の抽象モデルでも挑戦的であり,抽出ベースラインよりもわずかに優れていることがわかった。 また,そのサイズから,NLUベンチマークとNLGベンチマークの両ベンチマークにおいて,競合ベースラインを上回った強い言語モデルの事前学習に使用できることを示す。

関連論文リスト

• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• Pretraining Data and Tokenizer for Indic LLM [1.7729311045335219]
  我々は,多言語Indic大言語モデル構築のためのデータ準備のための新しいアプローチを開発する。 われわれの厳密なデータ取得は、Common Crawl、Indic Book、ニュース記事、Wikipediaなど、オープンソースとプロプライエタリなソースにまたがっている。 Indic言語毎に、冗長で低品質なテキストコンテンツを効果的に除去するカスタムプリプロセッシングパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-07-17T11:06:27Z)
• Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning [49.79783940841352]
  既存のデータセットはほとんどが英語で書かれている。 私たちは世界中の言語に精通した話者と協力して、指示と完了の自然な例を集めています。 既存のデータセットを114言語でテンプレート化し、翻訳することで、5億1300万のインスタンスを含む、これまでで最も広範な多言語コレクションを作成します。
  論文  参考訳（メタデータ） (2024-02-09T18:51:49Z)
• L3Cube-IndicNews: News-based Short Text and Long Document Classification Datasets in Indic Languages [0.4194295877935868]
  L3Cube-IndicNewsは、インドの地域言語のための高品質なデータセットのキュレーションを目的とした多言語テキスト分類コーパスである。 私たちはヒンディー語、ベンガル語、マラティ語、テルグ語、タミル語、グジャラート語、カンナダ語、オディア語、マラヤラム語、パンジャービ語を含む10の著名なインド語を中心にしています。 これらのニュースデータセットはそれぞれ10以上のニュース記事のクラスで構成されている。
  論文  参考訳（メタデータ） (2024-01-04T13:11:17Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Neural Machine Translation for the Indigenous Languages of the Americas: An Introduction [102.13536517783837]
  アメリカ大陸のほとんどの言語は、もしあるならば、並列データと単言語データしか持たない。 これらの言語におけるNLPコミュニティの関心が高まった結果、最近の進歩、発見、オープンな質問について論じる。
  論文  参考訳（メタデータ） (2023-06-11T23:27:47Z)
• Aksharantar: Open Indic-language Transliteration datasets and models for the Next Billion Users [32.23606056944172]
  Aksharantarは、モノリンガルコーパスとパラレルコーパスからのマイニングによって生成された、インド語のための最大公用翻訳データセットである。 データセットには、12のスクリプトを使用して、3つの言語ファミリーから21のIndic言語に対する2600万の文字ペアが含まれている。 Aksharantarは、既存のデータセットの21倍の大きさで、7つの言語と1つの言語ファミリーのための最初の公開データセットである。
  論文  参考訳（メタデータ） (2022-05-06T05:13:12Z)
• IndicNLG Suite: Multilingual Datasets for Diverse NLG Tasks in Indic Languages [23.157951796614466]
  本稿では,11言語を対象とした自然言語生成をベンチマークするデータセットの集合であるIndicNLGスイートを提案する。 本稿では,ウィキペディア情報ボックス(WikiBio)を用いたバイオグラフィー生成,ニュース見出し生成,文要約,質問生成,パラフレーズ生成の5つのタスクに着目した。
  論文  参考訳（メタデータ） (2022-03-10T15:53:58Z)
• XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages [7.8288425529553916]
  XL-SumはBBCから100万の専門的注釈付き記事-要約ペアからなる包括的・多種多様なデータセットである。 データセットは、低から高リソースまでの44の言語をカバーする。 XL-Sumは非常に抽象的で簡潔で高品質で、人間や本質的な評価によって示される。
  論文  参考訳（メタデータ） (2021-06-25T18:00:24Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。