論文の概要: GREEK-BERT: The Greeks visiting Sesame Street

• arxiv url: http://arxiv.org/abs/2008.12014v2
• Date: Thu, 3 Sep 2020 08:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 07:43:17.898418
• Title: GREEK-BERT: The Greeks visiting Sesame Street
• Title（参考訳）: GREEK-BERT:ギリシャ人がセサミストリートを訪れる
• Authors: John Koutsikakis, Ilias Chalkidis, Prodromos Malakasiotis and Ion Androutsopoulos
• Abstract要約: BERTのようなトランスフォーマーベースの言語モデルは、いくつかの下流自然言語処理タスクで最先端のパフォーマンスを達成した。 GREEK-BERTはモノリンガルなBERTベースの現代ギリシア語言語モデルである。
• 参考スコア（独自算出の注目度）: 25.406207104603027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based language models, such as BERT and its variants, have achieved state-of-the-art performance in several downstream natural language processing (NLP) tasks on generic benchmark datasets (e.g., GLUE, SQUAD, RACE). However, these models have mostly been applied to the resource-rich English language. In this paper, we present GREEK-BERT, a monolingual BERT-based language model for modern Greek. We evaluate its performance in three NLP tasks, i.e., part-of-speech tagging, named entity recognition, and natural language inference, obtaining state-of-the-art performance. Interestingly, in two of the benchmarks GREEK-BERT outperforms two multilingual Transformer-based models (M-BERT, XLM-R), as well as shallower neural baselines operating on pre-trained word embeddings, by a large margin (5%-10%). Most importantly, we make both GREEK-BERT and our training code publicly available, along with code illustrating how GREEK-BERT can be fine-tuned for downstream NLP tasks. We expect these resources to boost NLP research and applications for modern Greek.
• Abstract（参考訳）: BERTやその変種のようなトランスフォーマーベースの言語モデルは、一般的なベンチマークデータセット(GLUE、SQUAD、RACEなど)上のいくつかの下流自然言語処理(NLP)タスクで最先端のパフォーマンスを達成した。 しかし、これらのモデルは主に資源豊富な英語に適用されている。 本稿では,現代ギリシア語のための単言語BERTに基づく言語モデルGREEK-BERTを提案する。 3つのnlpタスク(part-of-speech tagging、名前付きエンティティ認識、自然言語推論)でパフォーマンスを評価し、最先端のパフォーマンスを得る。 興味深いことに、GREEK-BERTベンチマークの2つのベンチマークでは、2つの多言語トランスフォーマーベースモデル(M-BERT、XLM-R)と、事前訓練された単語埋め込みで動作するより浅い神経ベースラインを、大きなマージン(5%-10%)で上回っている。 最も重要なことは、GREEK-BERTとトレーニングコードの両方を公開し、下流のNLPタスクに対してGREEK-BERTをどのように微調整できるかを示すコードも公開しています。 これらの資源は、現代ギリシャのNLP研究と応用を促進すると期待している。

関連論文リスト

• A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
  自然言語推論は自然言語理解のプロキシである。 ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
  論文  参考訳（メタデータ） (2024-05-20T08:41:15Z)
• Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks [0.0]
  トルコ語のためのTransformerベースのモデルとベースラインベンチマークを提供する。 我々は、トルコのBERTモデル、BERTurkを多くの下流タスクに微調整し、トルコのベンチマークデータセットで評価した。
  論文  参考訳（メタデータ） (2024-01-30T19:27:04Z)
• OYXOY: A Modern NLP Test Suite for Modern Greek [2.059776592203642]
  本稿では,ギリシャ語NLPのための言語的動機付け評価スイートの開発に向けた基礎的なステップとして機能する。 本稿では,自然言語推論,単語感覚の曖昧さ,メタファ検出を対象とする4つの専門家による評価タスクを紹介する。 既存のタスクの言語による複製よりも、より広いリソースと評価コミュニティに共鳴する2つのイノベーションに貢献する。
  論文  参考訳（メタデータ） (2023-09-13T15:00:56Z)
• GreekBART: The First Pretrained Greek Sequence-to-Sequence Model [13.429669368275318]
  我々は,BARTベースアーキテクチャをベースとした最初のSeq2SeqモデルであるA GreekBARTを紹介し,大規模なギリシャ語コーパスを事前訓練する。 我々は,BART-random, Greek-BERT, XLM-Rを様々な識別課題で評価し,比較した。
  論文  参考訳（メタデータ） (2023-04-03T10:48:51Z)
• KinyaBERT: a Morphology-aware Kinyarwanda Language Model [1.2183405753834562]
  教師なしサブワードトークン化法は、形態的にリッチな言語を扱うのに最適である。 本稿では, 形態素解析を応用し, 構造的構成性を明確に表現する, 単純かつ効果的な2層BERTアーキテクチャを提案する。 提案手法を低リソース形態素に富んだKinyaarwanda言語上で評価し,モデルアーキテクチャKinyaBERTを命名した。
  論文  参考訳（メタデータ） (2022-03-16T08:36:14Z)
• A Unified Strategy for Multilingual Grammatical Error Correction with Pre-trained Cross-Lingual Language Model [100.67378875773495]
  本稿では,多言語文法的誤り訂正のための汎用的かつ言語に依存しない戦略を提案する。 我々の手法は言語固有の操作を使わずに多様な並列GECデータを生成する。 NLPCC 2018 Task 2のデータセット(中国語)で最先端の結果を達成し、Falko-Merlin(ドイツ語)とRULEC-GEC(ロシア語)の競合性能を得る。
  論文  参考訳（メタデータ） (2022-01-26T02:10:32Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• GLGE: A New General Language Generation Evaluation Benchmark [139.25515221280767]
  General Language Generation Evaluation (GLGE)は、NLGモデルの一般化能力を評価するための新しいマルチタスクベンチマークである。 NLGモデルにおける事前学習と伝達学習の研究を促進するため、GLGEを一般公開し、強力なベースラインを持つリーダーボードを構築する。
  論文  参考訳（メタデータ） (2020-11-24T06:59:45Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
  本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。 他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
  論文  参考訳（メタデータ） (2020-05-26T05:05:32Z)
• Coreferential Reasoning Learning for Language Representation [88.14248323659267]
  本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。 実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-04-15T03:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。