Fugu-MT 論文翻訳(概要): BERTomelo: Your Portuguese Encoder Best Friend

論文の概要: BERTomelo: Your Portuguese Encoder Best Friend

arxiv url: http://arxiv.org/abs/2606.28999v1
Date: Sat, 27 Jun 2026 16:23:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.756831
Title: BERTomelo: Your Portuguese Encoder Best Friend
Title（参考訳）: BERTomelo: ポルトガルのエンコーダベストフレンド
Abstract要約: BERTomeloは、スクラッチから事前訓練された次世代モノリンガルエンコーダで、特にポルトガル語に最適化されている。このモデルは1億6600万の文書からなる巨大な高品質のポルトガル語コーパスであるClassiCC-PTで訓練された。その結果、BERTomeloは以前のポルトガルのエンコーダを上回るだけでなく、STSやNERといった下流タスクにおいて、大規模な多言語モデルのより堅牢で効率的な代替手段を提供することがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Encoders have become the state of the art for multiple NLP tasks, especially those requiring deep contextual understanding. While multilingual models offer broad coverage, dedicated monolingual encoders are essential for capturing the unique lexical and syntactic nuances of specific languages. For Portuguese, however, existing monolingual options like BERTimbau and Albertina have not kept pace with recent architectural breakthroughs, often lagging behind English benchmarks in scalability and efficiency. This work introduces BERTomelo, a next-generation monolingual encoder pre-trained from scratch and specifically optimized for the Portuguese language. By leveraging the ModernBERT architecture, BERTomelo overcomes the limitations of previous models, offering Base and Large versions with a 1,024-token context window and hardware-level optimizations like FlashAttention and alternating attention mechanisms. The model was trained on ClassiCC-PT, a massive, high-quality Portuguese corpus of 106 million documents, ensuring superior alignment with the language's contemporary usage. The results demonstrate that BERTomelo not only outperforms previous Portuguese encoders but also provides a more robust and efficient alternative to massive multilingual models in downstream tasks such as STS and NER.
Abstract（参考訳）: エンコーダは複数のNLPタスク、特に深い文脈理解を必要とするタスクの最先端技術となっている。多言語モデルは広範なカバレッジを提供するが、特定の言語の独特の語彙的・構文的ニュアンスを捉えるには専用の単言語エンコーダが不可欠である。しかしながらポルトガルでは、BERTimbauやAlbertinaのような既存のモノリンガルオプションは、最近のアーキテクチャのブレークスルーには対応していません。 BERTomeloは、スクラッチから事前訓練された次世代モノリンガルエンコーダで、特にポルトガル語に最適化されている。 ModernBERT アーキテクチャを活用することで、BERTomelo は以前のモデルの制限を克服し、Base と Large バージョンを1,024 のコンテキストウィンドウで提供し、FlashAttention のようなハードウェアレベルの最適化と注意機構の交互化を実現した。このモデルは1億6600万の文書からなる巨大な高品質のポルトガル語コーパスであるClassiCC-PTで訓練された。その結果、BERTomeloは以前のポルトガルのエンコーダを上回るだけでなく、STSやNERといった下流タスクにおいて、大規模な多言語モデルのより堅牢で効率的な代替手段を提供することがわかった。

関連論文リスト

Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality [15.547613042199167]
大規模言語モデル(LLM)は、強い汎用性を示すが、多言語性能は相変わらず高い不均衡を保っている。合成エンコーダ-LLMデコーダアーキテクチャであるXBridgeを提案する。
論文参考訳（メタデータ） (2026-03-18T09:19:08Z)
Pretraining and Benchmarking Modern Encoders for Latvian [0.16752182911522517]
ラトビア語のような低リソースの言語は、未学習のコーパスでは不足している。本稿では,RoBERTa,DeBERTaV3,ModernBERTアーキテクチャに基づくラトビア固有のエンコーダスイートを事前学習することで,このギャップに対処する。我々のモデルは、最近のアーキテクチャと効率の進歩の恩恵を受けながら、既存のモノリンガルエンコーダやマルチリンガルエンコーダと競合する。
論文参考訳（メタデータ） (2026-03-16T09:10:55Z)
mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。データに1700以上の低リソース言語を追加しています。分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
論文参考訳（メタデータ） (2025-09-08T17:08:42Z)
NeoBabel: A Multilingual Open Tower for Visual Generation [32.79724699684266]
我々は,新しい多言語画像生成フレームワークNeoBabelを紹介する。英語、中国語、オランダ語、フランス語、ヒンディー語、ペルシア語という6つの言語をサポートしている。それは、強い英語能力を維持しながら、最先端の多言語のパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-07-08T16:19:45Z)
Statement-Tuning Enables Efficient Cross-lingual Generalization in Encoder-only Models [7.467951065154891]
大言語モデル(LLM)はゼロショットと少数ショットのタスクで優れているが、エンコーダのみのモデルで同様のパフォーマンスを達成することは困難である。最近の研究はステートメントチューニングを用いてゼロショットの一般化に適応し、タスクを有限テンプレートに再構成する。このアプローチを多言語NLPに拡張し、エンコーダがゼロショット言語間一般化を達成できるかどうかを探索する。
論文参考訳（メタデータ） (2025-06-02T12:28:03Z)
LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
論文参考訳（メタデータ） (2025-01-01T15:43:07Z)
Language Models on a Diet: Cost-Efficient Development of Encoders for Closely-Related Languages via Additional Pretraining [4.38070902806635]
クロアチア語、セルビア語、ボスニア語、モンテネグロ語のベンチマークを設定しました。我々は、利用可能な多言語モデルの追加事前学習により、専用のin-scratchモデルに匹敵する性能が得られることを示す。また、Slovenianの場合、隣接する言語は、最終モデルの性能にほとんど、あるいは全く損なわない追加の事前訓練に含めることができることを示す。
論文参考訳（メタデータ） (2024-04-08T11:55:44Z)
Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。これらのデータセットは10以上のプログラミング言語をカバーする。コード生成モデルの性能を多言語で評価することができる。
論文参考訳（メタデータ） (2022-10-26T17:17:06Z)
Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文参考訳（メタデータ） (2022-05-29T08:53:22Z)
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文参考訳（メタデータ） (2020-12-31T11:37:28Z)
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。