Fugu-MT 論文翻訳(概要): Sinhala-English Parallel Word Dictionary Dataset

論文の概要: Sinhala-English Parallel Word Dictionary Dataset

arxiv url: http://arxiv.org/abs/2308.02234v1
Date: Fri, 4 Aug 2023 10:21:35 GMT
ステータス: 処理完了
システム内更新日: 2023-08-07 13:24:39.150191
Title: Sinhala-English Parallel Word Dictionary Dataset
Title（参考訳）: Sinhala- English Parallel Word Dictionary データセット
Authors: Kasun Wickramasinghe, Nisansa de Silva
Abstract要約: 本稿では,英語とシンハラ語に関連する多言語自然言語処理(NLP)タスクを支援する3つの並行英語・シンハラ語辞書(En-Si-dict-large,En-Si-dict-filtered,En-Si-dict-FastText)を紹介する。
参考スコア（独自算出の注目度）: 0.554780083433538
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Parallel datasets are vital for performing and evaluating any kind of multilingual task. However, in the cases where one of the considered language pairs is a low-resource language, the existing top-down parallel data such as corpora are lacking in both tally and quality due to the dearth of human annotation. Therefore, for low-resource languages, it is more feasible to move in the bottom-up direction where finer granular pairs such as dictionary datasets are developed first. They may then be used for mid-level tasks such as supervised multilingual word embedding alignment. These in turn can later guide higher-level tasks in the order of aligning sentence or paragraph text corpora used for Machine Translation (MT). Even though more approachable than generating and aligning a massive corpus for a low-resource language, for the same reason of apathy from larger research entities, even these finer granular data sets are lacking for some low-resource languages. We have observed that there is no free and open dictionary data set for the low-resource language, Sinhala. Thus, in this work, we introduce three parallel English-Sinhala word dictionaries (En-Si-dict-large, En-Si-dict-filtered, En-Si-dict-FastText) which help in multilingual Natural Language Processing (NLP) tasks related to English and Sinhala languages. In this paper, we explain the dataset creation pipeline as well as the experimental results of the tests we have carried out to verify the quality of the data sets. The data sets and the related scripts are available at https://github.com/kasunw22/sinhala-para-dict.
Abstract（参考訳）: 並列データセットは、あらゆる種類の多言語タスクの実行と評価に不可欠である。しかし,1つの言語ペアが低リソース言語である場合,コーパスなどの既存のトップダウン並列データには,人間のアノテーションの劣化による高い品質と品質が欠落している。そのため、低リソース言語では、辞書データセットのようなより粒度の細かいペアが最初に開発されるボトムアップ方向に移動することが可能である。次に、教師付き多言語単語埋め込みアライメントのような中レベルのタスクに使用できる。これらは後に機械翻訳(mt)に使用される文や段落のコーパスの順に上位レベルのタスクを導くことができる。大規模なコーパスを低リソース言語で生成し調整するよりもアプローチしやすいが、より大きな研究機関からの無関心の理由と同じ理由から、これらの細かい粒度のデータセットでさえ、低リソース言語には不足している。我々は、低リソース言語であるsinhalaに対して、無料かつオープンな辞書データセットが存在しないことを観察した。そこで本研究では,英語とシンハラ語に関連する多言語自然言語処理(NLP)タスクを支援する3つの並行英語・シンハラ語辞書(En-Si-dict-large,En-Si-dict-filtered,En-Si-dict-FastText)を紹介する。本稿では、データセット作成パイプラインと、データセットの品質を検証するために実施したテストの実験結果について説明する。データセットと関連するスクリプトはhttps://github.com/kasunw22/sinhala-para-dictで入手できる。

関連論文リスト

Cross-lingual Contextualized Phrase Retrieval [63.80154430930898]
そこで本研究では,言語間関係の単語検索を多義的に行うタスクの定式化を提案する。我々は、コントラスト学習を用いて、言語間コンテクスト対応句検索(CCPR)を訓練する。フレーズ検索タスクでは、CCPRはベースラインをかなり上回り、少なくとも13ポイント高いトップ1の精度を達成する。
論文参考訳（メタデータ） (2024-03-25T14:46:51Z)
The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文参考訳（メタデータ） (2023-08-31T17:43:08Z)
Are the Best Multilingual Document Embeddings simply Based on Sentence Embeddings? [18.968571816913208]
本稿では,LASER,LaBSE,Sentence BERTを事前学習した多言語モデルに基づく文から文書レベルの表現を生成する手法を体系的に比較する。文の埋め込みの巧妙な組み合わせは、通常、全文書を単一の単位としてエンコードするよりも優れていることを示す。
論文参考訳（メタデータ） (2023-04-28T12:11:21Z)
Training Effective Neural Sentence Encoders from Automatically Mined Paraphrases [0.0]
そこで本稿では,手動でラベル付けしたデータを用いずに,効果的な言語固有文エンコーダを訓練する手法を提案する。本研究の目的は,文の一致したバイリンガルテキストコーパスからパラフレーズペアのデータセットを自動構築することである。文エンコーダは1枚のグラフィックカードで1日以内で訓練でき、多種多様な文レベルのタスクで高い性能を達成できる。
論文参考訳（メタデータ） (2022-07-26T09:08:56Z)
Dict-NMT: Bilingual Dictionary based NMT for Extremely Low Resource Languages [1.8787713898828164]
本稿では,辞書の品質,学習データセットのサイズ,言語家族などの影響を詳細に分析する。複数の低リソーステスト言語で得られた結果は、ベースラインよりもバイリンガル辞書ベースの方法の明確な利点を示している。
論文参考訳（メタデータ） (2022-06-09T12:03:29Z)
OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
論文参考訳（メタデータ） (2022-05-17T19:52:42Z)
Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
論文参考訳（メタデータ） (2021-09-28T11:22:38Z)
Cross-lingual Transfer for Text Classification with Dictionary-based Heterogeneous Graph [10.64488240379972]
言語間テキスト分類では,高ソース言語におけるタスク固有トレーニングデータが利用可能であることが求められている。このようなトレーニングデータの収集は,ラベル付けコストやタスク特性,プライバシの懸念などによって不可能になる可能性がある。本稿では,ハイソース言語とバイリンガル辞書のタスク非依存語埋め込みのみを利用する代替手法を提案する。
論文参考訳（メタデータ） (2021-09-09T16:40:40Z)
Exploiting Parallel Corpora to Improve Multilingual Embedding based Document and Sentence Alignment [1.5293427903448025]
本稿では,文書・文アライメントにおける多言語文表現の性能向上のために,小型並列コーパスを用いた重み付け機構を提案する。新たに作成されたSinhala- English,Tamil- English,Sinhala-Tamilのデータセットの結果から,この新たな重み付け機構は文書のアライメントと文のアライメントを大幅に改善することが示された。
論文参考訳（メタデータ） (2021-06-12T13:00:10Z)
Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
論文参考訳（メタデータ） (2021-01-20T17:54:47Z)
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
論文参考訳（メタデータ） (2020-10-27T22:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。