論文の概要: Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters

• arxiv url: http://arxiv.org/abs/2610.36230v1
• Date: Mon, 26 Oct 2026 20:09:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.428898
• Title: Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters
• Title（参考訳）: IceBERTを超えて: アイスランドのオープンデータModernBERTエンコーダを12Mから1Bパラメータに
• Abstract要約: オープンデータの9Bトークン上で,アイスランドのエンコーダを12Mから1Bパラメータにトレーニングする。 IceBERTのベンチマークと、30エンコーダの5つの新しいタスクを、信頼区間のある1つのプロトコルで再実行します。 私たちの1Bモデルは、スクラッチからトレーニングされ、その大きさの最初のモノリンガルのアイスランド語エンコーダまで、11のタスクでIceBERTよりもはるかに優れている。
• 参考スコア（独自算出の注目度）: 2.9274016602963595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: IceBERT, the reference encoder for Icelandic, found that a cleaned web crawl is enough to train a strong model and that starting from a multilingual model can help on some tasks. We revisit both findings with the ModernBERT architecture. We train Icelandic encoders from 12M to 1B parameters on 9B tokens of open data, and rerun IceBERT's benchmarks and five newer tasks for 30 encoders under one protocol with confidence intervals. Our 1B model trained from scratch, to our knowledge the first monolingual Icelandic encoder of that size, is significantly better than IceBERT on all eleven tasks; warm-started from the English Ettin encoder of the same shape, it has the best score of all encoders on every task we rank. Because our model shapes match the English Ettin encoders and the multilingual mmBERT, we can also test the warm start under controlled conditions, at six model sizes and four token budgets. With our vocabulary transplanted, a warm start was never significantly worse than scratch training on the same Icelandic text, and from base size up it was not significantly worse on four tasks than scratch training on 4 times the text (8 times at base and 1B). As models grow, most of the transfer comes from the source model's transformer layers, so even an English source helps. Keeping the source vocabulary instead cost 5 F1 on question answering and nearly three times the compute.
• Abstract（参考訳）: アイスランド語の参照エンコーダであるIceBERTは、クリーニングされたWebクローラーは強力なモデルをトレーニングするのに十分であり、マルチ言語モデルから始めることで、いくつかのタスクに役立ちます。 両発見をModernBERTアーキテクチャで再考する。 我々は、アイスランドのエンコーダを、オープンデータの9Bトークン上の12Mから1Bパラメータからトレーニングし、信頼区間のある1つのプロトコルの下で、30エンコーダに対して、IceBERTのベンチマークと5つの新しいタスクを実行する。 私たちの1Bモデルは、スクラッチからトレーニングされ、私たちの知る限り、最初のモノリンガルのアイスランドのエンコーダは、11のタスクすべてにおいてIceBERTよりもはるかに優れている。 我々のモデル形状は英語のEttinエンコーダと多言語のmmBERTと一致するため、制御条件下での温かいスタートを6つのモデルサイズと4つのトークン予算でテストすることもできる。 我々の語彙を移植すると、同じアイスランド語のテキスト上でのスクラッチトレーニングよりも温かいスタートが著しく悪化することはなく、ベースサイズが上がると、テキストの4倍のスクラッチトレーニング(ベースで8回、ベースで1B)よりも有意に悪化することはなかった。 モデルが成長するにつれて、転送のほとんどはソースモデルのトランスフォーマー層に由来するため、英語のソースでさえ役立ちます。 ソースの語彙を維持するには、質問応答に5 F1、計算の3倍の費用がかかる。

関連論文リスト

• HalleluBERT: Let every token that has meaning bear its weight [0.0]
  本稿では,RoBERTa をベースとするエンコーダファミリーである HalleluBERT について紹介する。
  論文  参考訳（メタデータ） (2025-10-24T11:52:29Z)
• mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
  mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。 データに1700以上の低リソース言語を追加しています。 分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
  論文  参考訳（メタデータ） (2025-09-08T17:08:42Z)
• NarrowBERT: Accelerating Masked Language Model Pretraining and Inference [50.59811343945605]
  そこで我々はNarrowBERTを提案する。NarrowBERTは改良されたトランスフォーマーエンコーダで、マスク付き言語モデルのプリトレーニングのスループットを2ドル以上の値で向上させる。 NarrowBERTは、自己アテンションクエリとフィードフォワード層が事前トレーニング中に各文のマスク付きトークンでのみ動作するように、トランスフォーマーモデルをスペーサー化する。 NarrowBERTは、MNLIのような文符号化タスクにおいて、最小(またはノー)のパフォーマンス劣化を伴って、$3.5times$で推論時にスループットを向上することを示す。
  論文  参考訳（メタデータ） (2023-01-11T23:45:50Z)
• ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
  BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。 そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。 新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
  論文  参考訳（メタデータ） (2020-08-06T07:43:19Z)
• Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation [50.0258495437314]
  機械翻訳(MT)における事前学習モデルの微調整において、凍結パラメータの利点と欠点と新しいパラメータの追加について検討する。 BARTでは、モデルパラメータの大部分を凍結し、追加の位置埋め込みを追加することで、最高のパフォーマンスを得ることができます。 mBARTでは、ほとんどの言語ペアがエンコーダで、ほとんどのデコーダはフリーズして、素早い微調整のパフォーマンスにマッチするか、向上します。
  論文  参考訳（メタデータ） (2020-04-30T16:09:22Z)
• CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
  CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。 我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。 モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
  論文  参考訳（メタデータ） (2020-02-19T13:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。