論文の概要: NeoBERT: A Next-Generation BERT

• arxiv url: http://arxiv.org/abs/2502.19587v1
• Date: Wed, 26 Feb 2025 22:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:59:20.009659
• Title: NeoBERT: A Next-Generation BERT
• Title（参考訳）: NeoBERT:次世代BERT
• Authors: Lola Le Breton, Quentin Fournier, Mariam El Mezouar, Sarath Chandar,
• Abstract要約: NeoBERTは、双方向モデルの能力を再定義する次世代エンコーダである。 すべてのコード、データ、チェックポイント、トレーニングスクリプトをリリースし、研究と実際の採用を加速します。
• 参考スコア（独自算出の注目度）: 9.673882259199278
• License:
• Abstract: Recent innovations in architecture, pre-training, and fine-tuning have led to the remarkable in-context learning and reasoning abilities of large auto-regressive language models such as LLaMA and DeepSeek. In contrast, encoders like BERT and RoBERTa have not seen the same level of progress despite being foundational for many downstream NLP applications. To bridge this gap, we introduce NeoBERT, a next-generation encoder that redefines the capabilities of bidirectional models by integrating state-of-the-art advancements in architecture, modern data, and optimized pre-training methodologies. NeoBERT is designed for seamless adoption: it serves as a plug-and-play replacement for existing base models, relies on an optimal depth-to-width ratio, and leverages an extended context length of 4,096 tokens. Despite its compact 250M parameter footprint, it achieves state-of-the-art results on the massive MTEB benchmark, outperforming BERT large, RoBERTa large, NomicBERT, and ModernBERT under identical fine-tuning conditions. In addition, we rigorously evaluate the impact of each modification on GLUE and design a uniform fine-tuning and evaluation framework for MTEB. We release all code, data, checkpoints, and training scripts to accelerate research and real-world adoption.
• Abstract（参考訳）: アーキテクチャ、事前学習、微調整の最近の革新は、LLaMAやDeepSeekのような大規模な自動回帰言語モデルの、目覚ましいコンテキスト内学習と推論能力に繋がった。 対照的にBERTやRoBERTaのようなエンコーダは、多くのダウンストリームNLPアプリケーションに基礎を置いているにもかかわらず、同じレベルの進歩を見せていない。 このギャップを埋めるために、アーキテクチャ、最新のデータ、最適化された事前学習手法を統合することにより、双方向モデルの能力を再定義する次世代エンコーダNeoBERTを導入する。 NeoBERTは、既存のベースモデルのプラグアンドプレイ代替として機能し、最適な深さと幅の比率に依存し、コンテキスト長4,096トークンを利用する。 コンパクトな2億5000万のパラメータフットプリントにもかかわらず、MTEBベンチマークで最先端の結果が得られ、同じ微調整条件下でBERT、RoBERTa、NomicBERT、ModernBERTを上回っている。 さらに,各修正がGLUEに与える影響を厳格に評価し,MTEBのための一様微調整・評価フレームワークを設計する。 すべてのコード、データ、チェックポイント、トレーニングスクリプトをリリースし、研究と実際の採用を加速します。

関連論文リスト

• MosaicBERT: A Bidirectional Encoder Optimized for Fast Pretraining [10.421048804389343]
  本稿では,BERTスタイルのエンコーダアーキテクチャであるMosaicBERTを紹介する。 C4データセットのスクラッチから事前トレーニングされた場合、このベースモデルは、約20ドルで8 A100 80 GB GPU上で1.13時間の平均GLUEスコア79.6を達成する。 この事前トレーニングでの実証的なスピードアップにより、研究者やエンジニアは既存のジェネリックモデルの微調整ではなく、BERTスタイルのカスタムモデルを低コストで事前トレーニングすることができる。
  論文  参考訳（メタデータ） (2023-12-29T06:05:19Z)
• oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes [82.99830498937729]
  oBERTaは自然言語処理のための使いやすい言語モデルのセットです。 NLPの実践者はモデル圧縮の専門知識なしで3.8倍から24.3倍の高速モデルを得ることができる。 代表的な7つのNLPタスクにおけるoBERTaの利用について検討する。
  論文  参考訳（メタデータ） (2023-03-30T01:37:19Z)
• Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
  変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
  論文  参考訳（メタデータ） (2021-08-23T14:28:23Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Transformers: "The End of History" for NLP? [17.36054090232896]
  我々は、事前訓練されたBERTスタイルのモデルのいくつかの重要な理論的制限に光を当てた。 これらの制限に対処することで,vanilla roberta と xlnet に対する大幅な改善が期待できる。 トランスフォーマーアーキテクチャへの将来の追加について、Desiderataに関するより一般的な議論を提供します。
  論文  参考訳（メタデータ） (2021-04-09T08:29:42Z)
• BinaryBERT: Pushing the Limit of BERT Quantization [74.65543496761553]
  本稿では、BERT量子化を重み二項化の限界まで押し上げるBinaryBERTを提案する。 複雑で不規則な損失環境のため,バイナリBERTは3次学習よりも直接訓練が難しいことが判明した。 実験結果から、BinaryBERT は完全精度 BERT ベースと比較して無視できる性能低下を示した。
  論文  参考訳（メタデータ） (2020-12-31T16:34:54Z)
• ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
  BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。 そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。 新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
  論文  参考訳（メタデータ） (2020-08-06T07:43:19Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。