論文の概要: IndicBART: A Pre-trained Model for Natural Language Generation of Indic Languages

• arxiv url: http://arxiv.org/abs/2109.02903v1
• Date: Tue, 7 Sep 2021 07:08:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 22:09:03.056386
• Title: IndicBART: A Pre-trained Model for Natural Language Generation of Indic Languages
• Title（参考訳）: indicbart: indic languageの自然言語生成のための事前学習モデル
• Authors: Raj Dabre and Himani Shrotriya and Anoop Kunchukuttan and Ratish Puduppully and Mitesh M. Khapra and Pratyush Kumar
• Abstract要約: IndicBARTは、11のIndic言語と英語に焦点を当てた、多言語でシーケンスからシーケンスまでの事前訓練モデルである。 IndicBARTをニューラルネットワーク変換(NMT)と極端な要約という2つのNLGタスクで評価する。
• 参考スコア（独自算出の注目度）: 24.638109544527104
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper we present IndicBART, a multilingual, sequence-to-sequence pre-trained model focusing on 11 Indic languages and English. Different from existing pre-trained models, IndicBART utilizes the orthographic similarity between Indic scripts to improve transfer learning between similar Indic languages. We evaluate IndicBART on two NLG tasks: Neural Machine Translation (NMT) and extreme summarization. Our experiments on NMT for 12 language pairs and extreme summarization for 7 languages using multilingual fine-tuning show that IndicBART is competitive with or better than mBART50 despite containing significantly fewer parameters. Our analyses focus on identifying the impact of script unification (to Devanagari), corpora size as well as multilingualism on the final performance. The IndicBART model is available under the MIT license at https://indicnlp.ai4bharat.org/indic-bart .
• Abstract（参考訳）: 本稿では,11の言語と英語に注目した多言語・シーケンス・ツー・シーケンス事前学習モデルindicbartを提案する。 既存の事前学習モデルとは異なり、IndicBARTはIndicスクリプト間の正書法的な類似性を利用して、類似したIndic言語間の転写学習を改善する。 IndicBARTをニューラルネットワーク変換(NMT)と極端な要約という2つのNLGタスクで評価する。 IndicBARTはmBART50よりはるかに少ないパラメータを含むにもかかわらず,12言語対のNMTと,多言語微調整を用いた7言語に対する極端な要約実験により,mBART50と競合するか否かが示された。 分析では,スクリプトの統一(デバナガリへの),コーパスサイズ,多言語化が最終的なパフォーマンスに与える影響について検討した。 IndicBARTモデルはMITライセンスでhttps://indicnlp.ai4bharat.org/indic-bartで利用可能である。

関連論文リスト

• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• MaiBaam: A Multi-Dialectal Bavarian Universal Dependency Treebank [56.810282574817414]
  We present the first multi-dialect Bavarian treebank (MaiBaam) based with part-of-speech and syntactic dependency information in Universal Dependencies (UD)。 我々は、近縁なバイエルン語とドイツ語のモルフォシンタクティックな相違を強調し、話者の正書法の豊富な多様性を示す。 私たちのコーパスには15kのトークンが含まれており、3つの国にまたがるバイエルン語を話すすべての地域の方言をカバーしています。
  論文  参考訳（メタデータ） (2024-03-15T13:33:10Z)
• Machine Translation by Projecting Text into the Same Phonetic-Orthographic Space Using a Common Encoding [3.0422770070015295]
  本稿では,言語類似性を利用した共通多言語ラテン文字符号化(WX表記法)を提案する。 提案手法を類似言語対の実験により検証する。 また、遠距離とゼロショットの言語ペアで最大1BLEUポイントの改善も行います。
  論文  参考訳（メタデータ） (2023-05-21T06:46:33Z)
• Towards Leaving No Indic Language Behind: Building Monolingual Corpora, Benchmark and Models for Indic Languages [19.91781398526369]
  3つの重要な軸に沿ってコントリビューションを行うことで、Indic言語のNLU機能を改善することを目指している。 具体的には、4つの言語ファミリーの24言語をカバーする20.9Bトークンで、最大のモノリンガルコーパスであるIndicCorpをキュレートする。 我々は、20言語をカバーする9つの異なるNLUタスクからなる人間によるベンチマークIndicXTREMEを作成する。 言語やタスク全体にわたって、IndicXTREMEには合計105の評価セットが含まれており、そのうち52が新たな文献への貢献である。
  論文  参考訳（メタデータ） (2022-12-11T04:45:50Z)
• CLSRIL-23: Cross Lingual Speech Representations for Indic Languages [0.0]
  CLSRIL-23は、23のIndic言語にまたがる生音声から言語間の音声表現を学習する自己教師付き学習ベースモデルである。 wav2vec 2.0の上に構築され、マスク付き潜在音声表現よりも対照的なタスクを訓練することで解決される。 単言語と多言語による事前学習の効果を比較するために,事前学習における言語障害の比較を行った。
  論文  参考訳（メタデータ） (2021-07-15T15:42:43Z)
• Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation [53.22775597051498]
  我々は,mbart を未熟な言語に効果的に適用するための,継続的な事前学習フレームワークを提案する。 その結果,mBARTベースラインの微調整性能を一貫して改善できることが示された。 私たちのアプローチは、両方の言語が元のmBARTの事前トレーニングで見られる翻訳ペアのパフォーマンスを高めます。
  論文  参考訳（メタデータ） (2021-05-09T14:49:07Z)
• Vy\=akarana: A Colorless Green Benchmark for Syntactic Evaluation in Indic Languages [0.0]
  インジケート言語は、豊富なモーフィオシンタックス、文法的ジェンダー、自由な線形単語順序、および高インフレクション型形態学を有する。 Vy=akarana - 多言語言語モデルの構文評価のためのIndic言語における性別バランスの取れたカラーレスグリーン文のベンチマーク。 評価タスクから得られたデータセットを用いて、さまざまなアーキテクチャの5つの多言語言語モデルをIndic言語で調べる。
  論文  参考訳（メタデータ） (2021-03-01T09:07:58Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。