論文の概要: llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length

• arxiv url: http://arxiv.org/abs/2504.15544v1
• Date: Tue, 22 Apr 2025 02:45:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 22:40:37.834288
• Title: llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length
• Title（参考訳）: llm-jp-Modernbert:長い文脈長を持つ大規模日本人コーパスで訓練されたModernBERTモデル
• Authors: Issa Sugiura, Kouta Nakayama, Yusuke Oda,
• Abstract要約: 本報告では,8192トークンの大規模コーパスをトレーニングしたModernBERTモデルであるllm-jp- Modernbertについて述べる。 我々のモデルは下流タスクの既存のベースラインを超えていないが、満杯テスト評価において良い結果が得られる。
• 参考スコア（独自算出の注目度）: 1.5857828218932415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Encoder-only transformer models like BERT are widely adopted as a pre-trained backbone for tasks like sentence classification and retrieval. However, pretraining of encoder models with large-scale corpora and long contexts has been relatively underexplored compared to decoder-only transformers. In this work, we present llm-jp-modernbert, a ModernBERT model trained on a publicly available, massive Japanese corpus with a context length of 8192 tokens. While our model does not surpass existing baselines on downstream tasks, it achieves good results on fill-mask test evaluations. We also analyze the effect of context length expansion through pseudo-perplexity experiments. Furthermore, we investigate sentence embeddings in detail, analyzing their transitions during training and comparing them with those from other existing models, confirming similar trends with models sharing the same architecture. To support reproducibility and foster the development of long-context BERT, we release our model, along with the training and evaluation code.
• Abstract（参考訳）: BERTのようなエンコーダのみのトランスフォーマーモデルは、文分類や検索といったタスクのためのトレーニング済みのバックボーンとして広く採用されている。 しかし、大規模なコーパスと長いコンテキストを持つエンコーダモデルの事前学習は、デコーダのみのトランスに比べて、比較的過小評価されている。 本研究では,8192トークンのコンテキスト長を持つ大規模日本語コーパスをトレーニングしたModernBERTモデルであるllm-jp- Modernbertを提案する。 我々のモデルは下流タスクの既存のベースラインを超えていないが、満杯テスト評価において良い結果が得られる。 また、擬似パープレキシティ実験により、文脈長拡大の効果も分析した。 さらに, 文の埋め込みを詳細に検討し, 学習中の遷移を分析し, 他の既存モデルと比較し, 同一アーキテクチャを共有するモデルと類似した傾向を確認した。 再現性をサポートし、長文BERTの開発を促進するため、トレーニングおよび評価コードとともにモデルをリリースする。

関連論文リスト

• B-cosification: Transforming Deep Neural Networks to be Inherently Interpretable [53.848005910548565]
  B-コシフィケーション(B-cosification)は、既存の訓練済みモデルを本質的に解釈可能なものにするための新しいアプローチである。 B-コシフィケーションは、解釈可能性の観点から、スクラッチから訓練されたB-コシフィケーションモデルに匹敵するモデルが得られる。
  論文  参考訳（メタデータ） (2024-11-01T16:28:11Z)
• Forgetting Curve: A Reliable Method for Evaluating Memorization Capability for Long-context Models [58.6172667880028]
  長文モデルの暗記能力を測定するために,左折曲線と呼ばれる新しい手法を提案する。 テストコーパスと実験環境に頑健であることの利点を, 忘れる曲線は有益であることを示す。 本測定は,RNN/SSMモデルの有効性を疑問視しながら,トランスフォーマー拡張手法の有効性を示す実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-07T03:38:27Z)
• LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
  トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。 モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。 後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
  論文  参考訳（メタデータ） (2024-02-17T04:16:30Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Identification of the Relevance of Comments in Codes Using Bag of Words and Transformer Based Models [0.0]
  本稿では,モデルの概要と,トレーニングコーパスにおけるその他の重要な知見について述べる。 トレーニングコーパス上での異なるモデルの性能を報告し、与えられたテストコーパス上でのベスト5モデルを実装した。
  論文  参考訳（メタデータ） (2023-08-11T14:06:41Z)
• Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
  そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。 言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
  論文  参考訳（メタデータ） (2023-03-02T05:21:18Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Adapting Pretrained Text-to-Text Models for Long Text Sequences [39.62224414485055]
  我々は、時系列入力に既存の事前訓練されたテキスト・ツー・テキスト・モデルを適用する。 長文QAタスク上での競合性能を実現するための長文モデルを構築した。
  論文  参考訳（メタデータ） (2022-09-21T00:41:07Z)
• Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling [4.525267347429154]
  BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。 さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。 我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
  論文  参考訳（メタデータ） (2020-03-29T14:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。