論文の概要: NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus

• arxiv url: http://arxiv.org/abs/2605.00086v1
• Date: Thu, 30 Apr 2026 17:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.683827
• Title: NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus
• Title（参考訳）: NorBERTo:331億ドルのTokens Corpusでポルトガルでトレーニング中のModernBERT
• Authors: Enzo S. N. Silva, Pablo B. Costa, Raphael C. Vlasman, Rosimeire P. Costa, Henrique L. P. Silva, Lucas F. A. O. Pellicer, Guilherme Rinaldo, Renato A. Almeida, Darian S. R. Rabbani, Cinthya O. Oestreich, Vinicius F. Caridá,
• Abstract要約: NorBERToはModernBERTアーキテクチャに基づくモダンなエンコーダで、長いコンテキストのサポートと効率的なアテンション機構を備えている。 NorBERToをセマンティックな類似性、テキストの細部、分類タスクに基づくStrongベースラインに対してベンチマークする。 NorBERTo-largeは、評価したエンコーダモデルの中で、MRPCで0.9191 F1、RTEで0.7689の精度で最高の結果を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality corpora are essential for advancing Natural Language Processing (NLP) in Portuguese. Building on previous encoder-only models such as BERTimbau and Albertina PT-BR, we introduce NorBERTo, a modern encoder based on the ModernBERT architecture, featuring long-context support and efficient attention mechanisms. NorBERTo is trained on Aurora-PT, a newly curated Brazilian Portuguese corpus comprising 331 billion GPT-2 tokens collected from diverse web sources and existing multilingual datasets. We systematically benchmark NorBERTo against Strong baselines on semantic similarity, textual entailment and classification tasks using standardized datasets such as ASSIN 2 and PLUE. On PLUE, NorBERTo-large achieves the best results among the encoder models we evaluated, notably reaching 0.9191 F1 on MRPC and 0.7689 accuracy on RTE. On ASSIN 2, NorBERTo-large attains the highest entailment F1 (~0.904) among all encoders considered, although Albertina-900M and BERTimbau-large still hold an advantage. To the best of our knowledge, Aurora-PT is currently the largest openly available monolingual Portuguese corpus, surpassing previous resources. NorBERTo provides a modern, mid-sized encoder designed for realistic deployment scenarios: it is straight-forward to fine-tune, efficient to serve, and well suited as a backbone for retrieval-augmented generation and other downstream Portuguese NLP systems.
• Abstract（参考訳）: 高品質コーパスは、ポルトガル語で自然言語処理(NLP)を進めるために不可欠である。 BERTimbauやAlbertina PT-BRといった,従来のエンコーダのみのモデルに基づいて,ModernBERTアーキテクチャに基づく現代的なエンコーダであるNorBERToを紹介した。 NorBERToは、さまざまなWebソースと既存の多言語データセットから収集された331億のGPT-2トークンからなる、新たにキュレーションされたブラジルのポルトガル語コーパスであるAurora-PTでトレーニングされている。 我々は,ASSIN 2 や PLUE などの標準化データセットを用いて,意味的類似性,テキストの包含性,分類タスクの強いベースラインに対して,NorBERTo を体系的にベンチマークした。 PLUEでは、NorBERTo-largeが評価したエンコーダモデルの中で、MRPCで0.9191 F1、RTEで0.7689の精度で最高の結果を得る。 ASSIN 2 では、NorBERTo-large はすべてのエンコーダの中で F1 (~0.904) の最高峰を達成しているが、Albertina-900M と BERTimbau-large は依然として優位である。 私たちの知る限りでは、Aurora-PTは現在、オープンで利用可能なポルトガル語コーパスとしては最大であり、以前のリソースを超えています。 NorBERToは、現実的なデプロイメントシナリオのために設計された、モダンで中規模のエンコーダを提供する。

関連論文リスト

• Qwen3-ASR Technical Report [71.87071808763484]
  2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。 Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
  論文  参考訳（メタデータ） (2026-01-29T06:58:13Z)
• TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish [0.7233065479782755]
  TabiBERTはModernBERTアーキテクチャをベースとしたモノリンガルのトルコ語エンコーダである。 8,192トークンのコンテキスト長(16xオリジナルBERT)をサポートし、最大2.65倍のスピードアップを実現し、GPUメモリ使用量を削減する。 タビベンチで77.58を獲得し、BERTurkを1.62ポイント上回り、8つのカテゴリーのうち5つの最先端技術を確立した。
  論文  参考訳（メタデータ） (2025-12-28T20:18:22Z)
• mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
  mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。 データに1700以上の低リソース言語を追加しています。 分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
  論文  参考訳（メタデータ） (2025-09-08T17:08:42Z)
• GeistBERT: Breathing Life into German NLP [0.22099217573031676]
  GeistBERTは、多種多様なコーパスで漸進的にトレーニングすることで、ドイツ語処理の改善を目指している。 このモデルはダイナミックマスクと固定シーケンス長512トークンを備えた1.3TBのドイツのコーパスで訓練された。 GermEval 2018の細かなテキスト分類において、ベースモデル間での強い成果、新しい最先端(SOTA)の設定などを実現した。
  論文  参考訳（メタデータ） (2025-06-13T15:53:17Z)
• Fostering the Ecosystem of Open Neural Encoders for Portuguese with Albertina PT* Family [0.3230831234454389]
  本稿では,オープンソースであり,任意の目的のためにオープンライセンスの下で無償で配布されるファンデーションエンコーダモデルに貢献する。 本稿では,15億のパラメータを持つ最大パフォーマンス駆動モデルと,1億のパラメータを持つより小さな効率駆動モデルを用いて,ポルトガル語に対する最先端のオープンエンコーダのエコシステムの拡張について述べる。
  論文  参考訳（メタデータ） (2024-03-04T09:56:47Z)
• NLEBench+NorGLM: A Comprehensive Empirical Analysis and Benchmark Dataset for Generative Language Models in Norwegian [4.062031248854444]
  ノルウェーの人口はわずか500万人で、NLPのタスクで最も印象的なブレークスルーの中では、表現力に乏しい。 このギャップを埋めるために、既存のノルウェーデータセットをコンパイルし、4つのノルウェーオープン言語モデルを事前訓練しました。 GPT-3.5はノルウェーの文脈を理解する能力に限界があることがわかった。
  論文  参考訳（メタデータ） (2023-12-03T08:09:45Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。