論文の概要: UltraBERT: Beyond the Limit of BERT Pre-Training

• arxiv url: http://arxiv.org/abs/2610.15028v1
• Date: Sat, 10 Oct 2026 16:11:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.14325
• Title: UltraBERT: Beyond the Limit of BERT Pre-Training
• Title（参考訳）: UltraBERT:BERT事前トレーニングの限界を超えて
• Abstract要約: トレーニングにおけるコア設計の選択を再考することによって,エンコーダのパフォーマンスがどの程度向上できるかを示す。 我々は,単一エンコーダであるUltraBERTを,バッチ内の低マスキング比と高マスキング比に分離したLMヘッドを割り当てる。
• 参考スコア（独自算出の注目度）: 21.97547371297117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent bidirectional encoders have been modernized with innovations from causal large language models (LLMs). However, the pretraining recipe itself remains inherited from small-scale conventions, leaving encoders underoptimized, with no single model performing competitively across both classification and retrieval tasks. In this work, we investigate how far encoder performance can be pushed by revisiting core design choices in training, revealing three key findings: (1) Encoders saturate on downstream tasks beyond a few trillion tokens, indicating that additional compute past this point does not help. (2) Across model sizes, lower masking ratios benefit classification while higher ones benefit retrieval, contradicting prior work suggesting larger ratios for larger models. (3) Distillation with pruning improves classification at low masking ratios but degrades retrieval at high ones. Guided by these findings, we present UltraBERT, a single encoder that assigns separate LM heads to low and high masking ratios within a batch and restricts the distillation objective to the low ratio. To our knowledge, UltraBERT is the first encoder to achieve state of the art on both classification and retrieval tasks, reaching 91.0 on GLUE and 47.7 on BEIR. Together, these results show how far encoder performance can be pushed and provide a principled basis for compute allocation, masking ratio design, and knowledge transfer in bidirectional models.
• Abstract（参考訳）: 最近の双方向エンコーダは、因果大言語モデル(LLM)の革新によって近代化されている。 しかし、事前学習のレシピ自体は小規模な慣習から受け継がれており、エンコーダは最適化されていない。 本研究では,トレーニングにおけるコア設計の選択を再考することによって,エンコーダの性能がどこまで向上するかを検討する。(1) エンコーダは,数兆トークンを超えるダウンストリームタスクに飽和し,この時点以降の計算量の増加は役に立たないことを示す。 2) モデルサイズ全体にわたって, マスキング率の低下は分類に寄与する一方, 上位は検索に寄与し, より大きなモデルに対してより大きな比率を示す先行研究と矛盾する。 3) プルーニングによる蒸留では, 低マスキング比では分類が向上するが, 高いマスキング比では検索が低下する。 これらの知見に導かれたUltraBERTは, 単一エンコーダであり, 別個のLMヘッドをバッチ内の低マスキング比, 高マスキング比に割り当て, 蒸留目標を低比に制限する。 我々の知る限り、UltraBERTは分類タスクと検索タスクの両方で最先端を達成した最初のエンコーダであり、GLUEでは91.0、BEIRでは47.7に達した。 これらの結果は,エンコーダの性能がどの程度向上できるかを示し,計算割り当て,マスキング比設計,双方向モデルにおける知識伝達の原理的基礎を提供する。

関連論文リスト

• Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs [50.3757247538081]
  我々は、統一パイプラインの下で、5つの共通ビジョンエンコーダの空でないサブセット31を再訓練し、評価する。 各エンコーダのコントリビューションを,容量と必要量という2つの軸に分解する。 エンコーダごとのプロジェクタ有効ランクは、残留スコアの変動を説明する。
  論文  参考訳（メタデータ） (2026-06-02T16:46:42Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• A Principled Hierarchical Deep Learning Approach to Joint Image Compression and Classification [27.934109301041595]
  本研究は,エンコーダを誘導し,コンパクトで差別的で,一般的な拡張/変換に適した特徴を抽出する3段階共同学習戦略を提案する。 CIFAR-10では最大1.5%,CIFAR-100では3%,従来のE2Eクロスエントロピートレーニングでは3%の精度向上が得られた。
  論文  参考訳（メタデータ） (2023-10-30T15:52:18Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• Seeking Common but Distinguishing Difference, A Joint Aspect-based Sentiment Analysis Model [43.4726612032584]
  本稿では,エンコーダ共有の利点を享受するだけでなく,モデルの有効性向上にも焦点をあてる共同ABSAモデルを提案する。 具体的には、ペアエンコーダが特に候補アスペクト-オピニオン対の分類に重点を置いており、元のエンコーダはシーケンスラベリングに注意を払っている。 実験結果から,提案モデルが頑健性を示し,従来の4つのベンチマークデータセットよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2021-11-18T11:24:48Z)
• New Perspective on Progressive GANs Distillation for One-class Novelty Detection [21.90786581579228]
  Thecoder-Decoder-Encoder scheme (EDE-GAN) に基づくジェネレーティブ・アドバイサル・ネットワークは最先端の性能を実現する。 新しい技術、P-KDGAN(Progressive Knowledge Distillation with GAN)は、設計された蒸留損失を通じて2つの標準GANを接続する。 2段階のプログレッシブ・ラーニングは、シングルステップ・アプローチよりも成績が向上し、学生のGANのパフォーマンスを継続的に向上させる。
  論文  参考訳（メタデータ） (2021-09-15T13:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。