論文の概要: Tiny-Scale Chinese BERT Pretraining: A Controlled Comparison of MLM, WWM, and MacBERT Strategies

• arxiv url: http://arxiv.org/abs/2610.08879v1
• Date: Tue, 06 Oct 2026 07:30:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.52279
• Title: Tiny-Scale Chinese BERT Pretraining: A Controlled Comparison of MLM, WWM, and MacBERT Strategies
• Title（参考訳）: MLM, WWM, および MacBERT 戦略の制御された比較
• Abstract要約: 本稿では,中国の小型BERTモデル(4層,256次元,8.7Mパラメータ)における3つの戦略の比較を行った。 我々は、スクラッチから3つのモデルをトレーニングし、それらを5つの次元(パープレキシティ、意味的識別、判断、文脈感受性)で評価する。 WWMは難易度(1.27対2.10、39.5%改善)と打率(22%対16%)の両方で優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining strategies significantly impact the quality of language models, yet existing comparisons of Masked Language Modeling (MLM), Whole Word Masking (WWM), and MacBERT-style replacement have focused primarily on base-scale models (>=110M parameters). This paper presents a controlled comparison of these three strategies on a tiny-scale Chinese BERT model (4 layers, 256 hidden dimensions, 8.7M parameters). Under identical architecture, corpus (1.29M sentences from Chinese Wikipedia), and hyperparameters, we train three models from scratch and evaluate them across five intrinsic dimensions: perplexity, MLM hit rate, semantic discrimination, grammatical judgment, and contextual sensitivity. At tiny scale, MLM achieves the best overall intrinsic performance (winning 3 of 5 dimensions), while WWM excels in both perplexity (1.27 vs. 2.10, a 39.5% improvement) and MLM hit rate (22% vs. 16%). Notably, MacBERT under a severely limited synonym dictionary (222 entries, 3.3% coverage) exhibits severe perplexity degradation (47.23, 22x higher than MLM), yielding a ranking (MLM > WWM >> MacBERT) that differs markedly from the established base-scale conclusion (MacBERT > WWM > MLM). We further identify a critical evaluation pitfall: MacBERT achieves the lowest training loss (2.17) yet the highest perplexity (47.23), revealing that training loss alone is unreliable under mixed replacement strategies. All models and corpus are publicly available at https://huggingface.co/eebyp.
• Abstract（参考訳）: Masked Language Modeling(MLM)、WWM(Whole Word Masking)、MacBERT(MacBERT)スタイルの代替は、主にベーススケールモデル(>=110Mパラメータ)に焦点を当てている。 本稿では,中国の小型BERTモデル(4層,256の隠蔽次元,8.7Mパラメータ)におけるこれらの3つの戦略の制御比較を行った。 同一のアーキテクチャ、コーパス(中国語ウィキペディアの1.29万文)、ハイパーパラメータの下で、スクラッチから3つのモデルを訓練し、それらを5つの本質的な次元(パープレキシティ、MLMヒットレート、意味的識別、文法的判断、文脈的感度)で評価する。 MLMは5次元で3勝)、WWMは難易度(1.27対2.10、39.5%改善)とMLMヒット率(22%対16%)の両方で優れている。 特に、高度に制限された同義語辞書 (222エントリ、3.3%のカバレッジ) の下では、深刻な難易度低下(MLMより47.23、22倍高い)を示し、確立されたベーススケールの結論(MacBERT > WWM > MLM)と著しく異なるランク(MLM > WWM >> MacBERT)を得る。 MacBERTはトレーニング損失が最も低く(2.17)、最も難易度が高い(47.23)。 すべてのモデルとコーパスはhttps://huggingface.co/eebyp.comで公開されている。

関連論文リスト

• Benchmarking Arabic--Russian Machine Translation: A Comparison of Fine-tuned NMT and Few-shot LLMs under Rich Morphology and Low Lexical Overlap [0.0]
  アラビア語とロシア語の機械翻訳(MT)は、アラビア語の豊富な形態と低語彙の重なりが原因で、未発見のままである。 我々は、新しい15.47Mペアコーパスを20k/5k/5k分割した4つの数ショットの大規模言語モデル(LLM)に対して、7つの微調整ニューラルマシン翻訳(NMT)モデルをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-26T11:22:24Z)
• Toward Epistemic Stability: Engineering Consistent Procedures for Industrial LLM Hallucination Reduction [0.0]
  大型言語モデル (LLM) における幻覚は、一貫性はあるが事実的に不正確であり、文脈的に矛盾する出力である。 モデル出力のばらつきを低減するための5つの迅速なエンジニアリング戦略を提示し、比較する。
  論文  参考訳（メタデータ） (2026-03-08T19:15:13Z)
• Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image [58.14192385042352]
  マルチモーダル・リワードベンチ2(MMRB2)は,マルチモーダル理解と(インターリーブされた)生成に対する報酬モデルの最初のベンチマークである。 MMRB2はテキスト・ツー・イメージ、画像編集、インターリーブド・ジェネレーション、マルチモーダル推論の4つのタスクにまたがる。 21のソースタスクにわたる23のモデルとエージェントから、タスク毎に1000のエキスパートアノテートされた好みペアを提供する。
  論文  参考訳（メタデータ） (2025-12-18T18:56:04Z)
• Exploring the limits of strong membership inference attacks on large language models [70.49900359876595]
  最先端メンバーシップ推論攻撃 (MIA) は通常、多くの参照モデルを訓練する必要がある。 事前訓練された言語モデルでは強力なMIAが成功するが,その有効性は限られている。
  論文  参考訳（メタデータ） (2025-05-24T16:23:43Z)
• LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
  Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。 このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。 我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
  論文  参考訳（メタデータ） (2025-05-21T15:06:59Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• $γ-$MoD: Exploring Mixture-of-Depth Adaptation for Multimodal Large Language Models [87.43596173378913]
  我々は既存のMLLMに対して$gamma$-MoDという革新的な戦略を提案する。 $gamma$-MoD では、MLLM における MoD の展開を導くための新しい計量法が提案されている。 MLLMの計算空間を最大化する2つの新しい設計法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:53Z)
• Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
  本稿では,Flamesという値アライメントベンチマークを提案する。 一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。 以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
  論文  参考訳（メタデータ） (2023-11-12T17:18:21Z)
• Boosting Theory-of-Mind Performance in Large Language Models via Prompting [2.538209532048867]
  本研究は,GPT-4および3種類のGPT-3.5のToM特性を測定する。 ToM理解の改善における文脈内学習の有効性を検討した。
  論文  参考訳（メタデータ） (2023-04-22T22:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。