論文の概要: MoganBert-TR: A Turkish Encoder Foundation Model Trained from Scratch with a CLM-to-MLM Curriculum
- arxiv url: http://arxiv.org/abs/2608.25768v1
- Date: Wed, 26 Aug 2026 13:12:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.835951
- Title: MoganBert-TR: A Turkish Encoder Foundation Model Trained from Scratch with a CLM-to-MLM Curriculum
- Title（参考訳）: MoganBert-TR:CLM-to-MLMカリキュラムで学習したトルコのエンコーダ基礎モデル
- Abstract要約: MoganBert-TRは237.3Bのトークンを2段階のCLM-to-MLMカリキュラムでトレーニングしている。
MoganBert-TR は TrGLUE で78.41 に達し、トルコのModernBERT モデルの中でも最高である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Turkish encoder models have adopted modern architectures while leaving the pretraining objective fixed at masked language modelling. This paper introduces MoganBert-TR, a 149M-parameter Turkish encoder foundation model trained from scratch on a language-specifically filtered corpus, together with an embedding model derived from it (MoganBert-Embed). MoganBert-TR is trained over 237.3B tokens with a two-stage CLM-to-MLM curriculum: causal language modelling first, masked language modelling for the remainder, with the transition made inside the stable phase of a WSD schedule. In a controlled ablation under an equal step budget, this design outperforms pure MLM by 2.7-3.7x on Turkish MS MARCO retrieval; the measured mechanism is embedding geometry, where a single direction absorbs 28.1% of the variance under pure MLM against 11.9% under the curriculum. Long-context extension and learning-rate decay are then split into two branches after a shared prefix: running the final portion of decay at 1024 context improves the TrGLUE average by 0.49 +/- 0.26 points across five paired seeds (p = 0.013) and beats a model-soup alternative by 0.75 points at ~4.3% additional cost. MoganBert-TR attains 78.41 on TrGLUE, the best among the Turkish ModernBERT models compared, and 77.73 on TabiBench, where it leads two of the eight categories with the largest margin on code retrieval (+3.62 points over TabiBERT). MoganBert-Embed, produced through teacher distillation and multi-signal contrastive fine-tuning, ranks first among student models on the MTEB(Turkish) overall average with 68.30 and reaches 99.5% of its 7.57B-parameter teacher's score with a 51x smaller backbone. The accompanying 50,048-token tokenizer outperforms all compared Turkish tokenizers on compression and fertility across two independent test sets. Weights, tokenizer, embedding model and evaluation code: https://huggingface.co/moganai
- Abstract（参考訳）: トルコのエンコーダモデルは、マスク付き言語モデリングで固定された事前訓練目的を残しながら、近代的なアーキテクチャを採用してきた。
本稿では,149Mのトルコ語エンコーダ基盤モデルであるMoganBert-TRと,それに由来する埋め込みモデル(MoganBert-Embed)を紹介する。
MoganBert-TRは237.3B以上のトークンを2段階のCLM-to-MLMカリキュラムでトレーニングしている。
この設計はトルコのMS MARCO検索において純粋なMLMよりも2.7-3.7倍優れており、単一の方向が純粋なMLMの下での分散の28.1%を、カリキュラムの11.9%に対して吸収する埋め込み幾何学である。
長いコンテキストの拡張と学習速度の崩壊は、共有接頭辞の後に2つの枝に分かれる: 1024コンテキストで崩壊の最終部分を実行すると、TrGLUE平均は5対の種子(p = 0.013)で0.49 +/- 0.26ポイント向上し、追加コストで0.75ポイント上昇する。
MoganBert-TRはトルコのModernBERTで78.41点、TabiBenchで77.73点、コード検索で最大の8つのカテゴリー(+3.62点)をリードしている。
MoganBert-Embedは、教師の蒸留と多信号のコントラスト微調整によって製造され、MTEB(トルコ語)全体の学生モデルの68.30で第1位となり、7.57Bパラメータの教師のスコアの99.5%を51倍のバックボーンで達成している。
これに付随する50,048トンのトークン化剤は、トルコのトークン化剤を2つの独立したテストセットで比較した。
ウェイト、トークン、埋め込みモデル、評価コード:https://huggingface.co/moganai
関連論文リスト
- MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes [0.0]
トランジットキオスクのポリシー層として,言語モデルをテストするための955ケースベンチマークであるMetroLLM-Benchを紹介する。
37駅から414駅までの6つの実際の地下鉄システムと、ルーティング、運賃計算、ディスラプション、アクセシビリティ、敵の入力を含む11のカテゴリをカバーしている。
14の決定論的スコアリングコンポーネントがTier 1を形成し、8つの意味論的品質コンポーネントがTier 2を形成し、そのうち6つは言語モデル判断器を使用している。
論文 参考訳（メタデータ） (2026-09-09T10:46:56Z) - MoganColBERT-TR: A Late-Interaction Multi-Vector Retrieval Model for Turkish [0.0]
この研究は第3のモデルであるMoganColBERT-TRを導入している。
MoganColBERT-TRは、768->128プロジェクションを通してトークンレベルで表現し、MaxSim遅延相互作用でスコアするマルチベクトル検索モデルである。
148.9Mパラメータを持つMoganColBERT-TRの総合スコアは37.36である。
論文 参考訳（メタデータ） (2026-08-26T19:26:15Z) - Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation [0.0]
文の埋め込みはセマンティック検索、クラスタリング、分類、検索強化生成のための基礎的なコンポーネントである。
本稿では,768次元のL2正規化ベクトルを生成するトルコの文埋め込みモデルであるembeddingmagibu-200mについて述べる。
論文 参考訳（メタデータ） (2026-05-28T14:24:50Z) - Mecellem Models: Turkish Models Trained from Scratch and Continually Pre-trained for the Legal Domain [0.0]
本稿では,トルコの法律ドメインのための専門言語モデルを開発するためのフレームワークであるMecellemモデルを提案する。
Scratchから事前訓練されたエンコーダモデル:ModernBERTベースの双方向エンコーダをトルコ支配の112億トークンのコーパスで事前訓練し、(2)継続事前トレーニング(CPT)によるデコーダモデル:Qwen3-1.7BとQwen3-4Bをトルコの法域に適応させた。
論文 参考訳（メタデータ） (2026-01-22T14:41:32Z) - TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish [0.7233065479782755]
TabiBERTはModernBERTアーキテクチャをベースとしたモノリンガルのトルコ語エンコーダである。
8,192トークンのコンテキスト長(16xオリジナルBERT)をサポートし、最大2.65倍のスピードアップを実現し、GPUメモリ使用量を削減する。
タビベンチで77.58を獲得し、BERTurkを1.62ポイント上回り、8つのカテゴリーのうち5つの最先端技術を確立した。
論文 参考訳（メタデータ） (2025-12-28T20:18:22Z) - Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。
提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。
RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
論文 参考訳（メタデータ） (2025-05-25T23:06:20Z) - Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。
既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。
この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-04T02:41:04Z) - DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。
我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。
DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
論文 参考訳（メタデータ） (2024-06-17T17:42:57Z) - Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter
Encoders for Natural Language Understanding Systems [63.713297451300086]
本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。
その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
論文 参考訳（メタデータ） (2022-06-15T20:44:23Z) - DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with
Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。
ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。
そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文 参考訳（メタデータ） (2021-11-18T06:48:00Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳（メタデータ） (2020-06-05T19:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。