論文の概要: LAMB: A Modern Contextual Language Model for Latin

• arxiv url: http://arxiv.org/abs/2610.31723v1
• Date: Thu, 22 Oct 2026 11:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.253135
• Title: LAMB: A Modern Contextual Language Model for Latin
• Title（参考訳）: LAMB: 現代ラテン語の文脈言語モデル
• Abstract要約: この記事では、Modern BERTアーキテクチャに基づくラテン言語のエンコーダであるLatin Modern BERT (LAMB)を紹介する。 Acervus には 24B BERT WordPiece トークンが含まれており,OCR 転写の損傷により 760K 以上のサンプルが含まれている。 第2のデータセットであるCorpus Trinumは、100億以上の強みと弱いラテン語のセマンティック・トリレットの混合を含んでいる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article introduces Latin Modern BERT (LAMB), an encoder for the Latin language based on the ModernBERT architecture, pretrained in two phases on more than 74B Latin tokens using a novel morphologically informed masking regimen. We also present two corpora for the Latin language. Acervus contains 24B BERT WordPiece tokens, including over 760K samples from heavily damaged OCR transcriptions, repaired by a ByT5 model trained for Latin text repair. The second dataset, Corpus Trinum, contains a mixture of over 100M strong and weak Latin language semantic triplets. Corpus Trinum is the first Latin semantic triplet dataset, opening the door for Latin language models to be adapted to general sentence semantic similarity tasks. We construct an experimental grid using five tasks and seventeen subtasks, applying a variety of finetuning configurations and subword aggregation techniques for 15 pretrained encoders, 6 LAMB training checkpoints, and an ablation model designed to quantify the impact of different masking regimens. Using this benchmark, we rank Latin encoders and find that LAMB outperforms all other evaluated models on 16 of 17 subtasks, coming within 0.8 percentage points of state of the art on the seventeenth. We provide additional analyses relating Latin encoder performance to tokenizer behavior, syntactic structure, finetuning configuration, pretraining state, subword aggregation, and variation in source texts and domains. In these, we identify unique acquisition dynamics for Latin open class words during terminal decay phases, and establish that for some task categories, finetuning configuration selection can have a greater effect on downstream scores than additional pretraining tokens.
• Abstract（参考訳）: 本稿では, 74B以上のラテントークン上で, 新たな形態的に情報を得たマスキング方式を用いて事前学習を行った, ModernBERT アーキテクチャに基づくラテン言語のエンコーダである Latin Modern BERT (LAMB) を紹介する。 ラテン語の2つのコーパスも提示する。 Acervusには24BのBERT WordPieceトークンが含まれており、大破したOCR転写から760K以上のサンプルがラテン文字の修復のために訓練されたByT5モデルで修復されている。 第2のデータセットであるCorpus Trinumは、100億以上の強みと弱いラテン語のセマンティック・トリレットの混合を含んでいる。 コーパス・トリナムは最初のラテン意味三重項データセットであり、ラテン言語モデルが一般的な文意味類似性タスクに適応するための扉を開く。 5つのタスクと17のサブタスクを用いて実験格子を構築し、15の事前訓練エンコーダ、6つのLAMBトレーニングチェックポイント、および異なるマスキング規則の影響を定量化するアブレーションモデルについて、様々な微調整構成とサブワード集約手法を適用した。 このベンチマークを用いて、ラテンエンコーダをランク付けし、LAMBが17のサブタスクのうち16のモデルで他のすべての評価モデルより優れており、17日の最先端技術では0.8パーセント以内であることがわかった。 本稿では,ラテンエンコーダの性能を,トークンライザの挙動,構文構造,微調整構成,事前学習状態,サブワード集約,ソーステキストやドメインの変動に関連付ける。 そこで本稿では,ラテンオープンクラス単語の終末崩壊フェーズにおけるユニークな獲得ダイナミクスを同定し,いくつかのタスクカテゴリにおいて,微調整構成の選択が追加の事前学習トークンよりも下流のスコアに大きな影響を与えることを確かめる。

関連論文リスト

• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• LatinX: Aligning a Multilingual TTS Model with Direct Preference Optimization [0.0]
  音声合成のための多言語テキスト音声合成(TTS)モデルであるLatticXを提案する。 ラテンXは、(i)テキスト音声マッピングのための事前トレーニング、(ii)ゼロショット音声クローンのための微調整の監督、(iii)ダイレクト優先度最適化とのアライメントの3段階で訓練されている。
  論文  参考訳（メタデータ） (2025-09-06T23:36:30Z)
• ÚFAL LatinPipe at EvaLatin 2024: Morphosyntactic Analysis of Latin [1.590106856568323]
  我々は、Eva 2024 Dependency Parsingタスクの受賞申請である LatinPipe を提示する。 本システムでは, ベースと大型の事前学習型LMの微調整による結合が構成されている。 一般に公開されている7つのラテンコーパスからのサンプリングによって訓練される。
  論文  参考訳（メタデータ） (2024-04-08T20:05:25Z)
• LatinCy: Synthetic Trained Pipelines for Latin NLP [0.0]
  本稿では、spurCy自然言語処理フレームワークで使用するための、トレーニング済み汎用のラテン言語"コア"パイプラインであるLatinCyを紹介する。 これらのモデルは、ラテン・ユニバーサル依存ツリーバンクの5つすべてを含む、大量のラテンデータに基づいて訓練されている。
  論文  参考訳（メタデータ） (2023-05-07T19:59:01Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Attend, Memorize and Generate: Towards Faithful Table-to-Text Generation in Few Shots [58.404516361586325]
  Few-shot table-to-text generation は、限られたデータを用いてテーブル内容を伝えるために、流動的で忠実な文を構成するタスクである。 本稿では,人間のテキスト生成プロセスに触発された新しい手法,覚醒と生成(AMG)を提案する。
  論文  参考訳（メタデータ） (2022-03-01T20:37:20Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs [51.67970832510462]
  翻訳ペア(mt6)を用いた多言語テキスト間トランスフォーマーの改良 本研究では,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。 実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-18T03:24:07Z)
• Latin BERT: A Contextual Language Model for Classical Philology [7.513100214864645]
  我々はラテン言語のための文脈言語モデルである Latin BERT を提示する。 古典期から21世紀にかけての様々な資料から642.7万語で訓練された。
  論文  参考訳（メタデータ） (2020-09-21T17:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。