論文の概要: HinFlair: pre-trained contextual string embeddings for pos tagging and
text classification in the Hindi language
- arxiv url: http://arxiv.org/abs/2101.06949v1
- Date: Mon, 18 Jan 2021 09:23:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 05:59:45.840494
- Title: HinFlair: pre-trained contextual string embeddings for pos tagging and
text classification in the Hindi language
- Title（参考訳）: HinFlair: Hindi言語におけるposタグとテキスト分類のための事前訓練された文脈文字列埋め込み
- Authors: Harsh Patel
- Abstract要約: HinFlairは、巨大な単言語Hindiコーパスで事前訓練された言語表現モデル(コンテキスト文字列埋め込み)である。
結果は、HinFlairが、テキスト分類やposタグ付けといった下流タスクのために、既存の最先端の公開トレーニング済みの埋め込みよりも優れていることを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in language models based on recurrent neural networks and
transformers architecture have achieved state-of-the-art results on a wide
range of natural language processing tasks such as pos tagging, named entity
recognition, and text classification. However, most of these language models
are pre-trained in high resource languages like English, German, Spanish.
Multi-lingual language models include Indian languages like Hindi, Telugu,
Bengali in their training corpus, but they often fail to represent the
linguistic features of these languages as they are not the primary language of
the study. We introduce HinFlair, which is a language representation model
(contextual string embeddings) pre-trained on a large monolingual Hindi corpus.
Experiments were conducted on 6 text classification datasets and a Hindi
dependency treebank to analyze the performance of these contextualized string
embeddings for the Hindi language. Results show that HinFlair outperforms
previous state-of-the-art publicly available pre-trained embeddings for
downstream tasks like text classification and pos tagging. Also, HinFlair when
combined with FastText embeddings outperforms many transformers-based language
models trained particularly for the Hindi language.
- Abstract（参考訳）: 繰り返しニューラルネットワークとトランスフォーマーアーキテクチャに基づく言語モデルの最近の進歩は、posタグ付け、名前付きエンティティ認識、テキスト分類など、幅広い自然言語処理タスクにおいて最先端の結果を得た。
しかし、これらの言語モデルのほとんどは、英語、ドイツ語、スペイン語のような高資源言語で事前学習されている。
多言語言語モデルはヒンディー語、テルグ語、ベンガル語などのインドの言語を訓練用コーパスに含んでいるが、これらの言語が研究の主要な言語ではないため、言語の特徴を表現できないことが多い。
HinFlairは、巨大な単言語Hindiコーパス上で事前訓練された言語表現モデル(コンテキスト文字列埋め込み)である。
6つのテキスト分類データセットとヒンディー語の依存木バンクを用いて、ヒンディー語のコンテキスト化文字列埋め込みの性能を分析する実験を行った。
結果は、HinFlairが、テキスト分類やposタグ付けといった下流タスクのために、既存の最先端の公開トレーニング済みの埋め込みよりも優れていることを示している。
また、HinFlairとFastTextの埋め込みの組み合わせは、特にヒンディー語のために訓練された多くのトランスフォーマーベースの言語モデルより優れている。
関連論文リスト
- Prompt Engineering Using GPT for Word-Level Code-Mixed Language Identification in Low-Resource Dravidian Languages [0.0]
インドのような多言語社会では、テキストはしばしばコードミキシングを示し、異なる言語レベルで現地の言語と英語をブレンドする。
本稿では,Dravidian言語における単語レベルのLI課題への対処を目的とした,共有タスクのプロンプトベース手法を提案する。
本研究では,GPT-3.5 Turboを用いて,大言語モデルが単語を正しいカテゴリに分類できるかどうかを検証した。
論文 参考訳（メタデータ） (2024-11-06T16:20:37Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳（メタデータ） (2023-09-19T14:42:33Z) - T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text
Classification [50.675552118811]
言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。
本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:33:22Z) - Sāmayik: A Benchmark and Dataset for English-Sanskrit Translation [30.315293326789828]
S=amayikは、現代の散文で書かれた53,000の英サンスクリット文からなるデータセットである。
S=amayikは、言語教材、テキスト教育教育、オンラインチュートリアルなど、さまざまな分野からキュレーションされている。
論文 参考訳（メタデータ） (2023-05-23T12:32:24Z) - Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。
このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。
また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
論文 参考訳（メタデータ） (2022-03-24T21:24:54Z) - Multilingual Text Classification for Dravidian Languages [4.264592074410622]
そこで我々はDravidian言語のための多言語テキスト分類フレームワークを提案する。
一方、フレームワークはLaBSE事前訓練モデルをベースモデルとして使用した。
一方,モデルが言語間の相関を十分に認識・活用できないという問題を考慮し,さらに言語固有の表現モジュールを提案する。
論文 参考訳（メタデータ） (2021-12-03T04:26:49Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Indic-Transformers: An Analysis of Transformer Language Models for
Indian Languages [0.8155575318208631]
Transformerアーキテクチャに基づく言語モデルは、幅広いNLPタスクにおいて最先端のパフォーマンスを達成した。
しかしながら、このパフォーマンスは通常、英語、フランス語、スペイン語、ドイツ語などの高リソース言語でテストされ、報告される。
一方、インドの言語はそのようなベンチマークでは表現されていない。
論文 参考訳（メタデータ） (2020-11-04T14:43:43Z) - Vokenization: Improving Language Understanding with Contextualized,
Visual-Grounded Supervision [110.66085917826648]
我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。
語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。
これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
論文 参考訳（メタデータ） (2020-10-14T02:11:51Z) - Deep Learning for Hindi Text Classification: A Comparison [6.8629257716723]
デヴァナガリ文字で書かれた形態的に豊かで低資源のヒンディー語を分類する研究は、大きなラベル付きコーパスがないために限られている。
本研究では,CNN,LSTM,注意に基づくモデル評価のために,英文データセットの翻訳版を用いた。
また,本論文は,一般的なテキスト分類手法のチュートリアルとしても機能する。
論文 参考訳（メタデータ） (2020-01-19T09:29:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。