論文の概要: Mask and You Shall Receive: Optimizing Masked Language Modeling For Pretraining BabyLMs

• arxiv url: http://arxiv.org/abs/2510.20475v1
• Date: Thu, 23 Oct 2025 12:15:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.844935
• Title: Mask and You Shall Receive: Optimizing Masked Language Modeling For Pretraining BabyLMs
• Title（参考訳）: Mask and You Shall Receive: BabyLM の事前学習のための Masked Language Modeling の最適化
• Authors: Lukas Edman, Alexander Fraser,
• Abstract要約: 2025年版BabyLM Challengeの戦略について述べる。 私たちの主な貢献は、MLM(Masked Language Modeling)の改良形式で、モデルの予測能力に応じて隠蔽されたトークンの確率に適応することです。
• 参考スコア（独自算出の注目度）: 54.626578706811436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe our strategy for the 2025 edition of the BabyLM Challenge. Our main contribution is that of an improved form of Masked Language Modeling (MLM), which adapts the probabilities of the tokens masked according to the model's ability to predict them. The results show a substantial increase in performance on (Super)GLUE tasks over the standard MLM. We also incorporate sub-token embeddings, finding that this increases the model's morphological generalization capabilities. Our submission beats the baseline in the strict-small track.
• Abstract（参考訳）: 2025年版BabyLM Challengeの戦略について述べる。 私たちの主な貢献は、MLM(Masked Language Modeling)の改良形式で、モデルの予測能力に応じて隠蔽されたトークンの確率に適応することです。 その結果,(Super)GLUEタスクの性能は標準MLMよりも大幅に向上した。 また、サブトーケン埋め込みを導入し、モデルの形態的一般化能力を高めることを発見した。 私たちの提出は、厳格な小道でベースラインを破ります。

関連論文リスト

• AntLM: Bridging Causal and Masked Language Models [17.674125980976665]
  Causal Language Modeling (CLM) Masked Language Modeling (MLM) はトランスフォーマーネットワークに基づく2つの主流パラダイムである。 本稿では,CLMとtextを統合した新しい言語モデリングパラダイムである$bfAntLM$を提案する。
  論文  参考訳（メタデータ） (2024-12-04T12:34:15Z)
• LLM-wrapper: Black-Box Semantic-Aware Adaptation of Vision-Language Models for Referring Expression Comprehension [45.856469849910496]
  視覚言語モデル(VLM)は、様々なオープン語彙タスクにおいて顕著な能力を示してきたが、タスク固有の微調整モデルに遅れたゼロショットのパフォーマンスは遅れている。 大規模言語モデル(LLM)を用いた参照表現タスクのためのVLMの「ブラックボックス」適応法であるLLM-wrapperを提案する。 当社のアプローチでは,内部動作へのアクセスを必要とせずに,クローズドソースモデルの適応を可能にするという,いくつかの利点がある。
  論文  参考訳（メタデータ） (2024-09-18T12:32:25Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• Uniform Masking Prevails in Vision-Language Pretraining [26.513450527203453]
  Masked Language Modeling (MLM) は、Vision-Language (VL) プリトレーニングの重要なコンポーネントであることが証明されている。 本稿では,マスキング率の増加が画像テキストマッチング(ITM)タスクの増大につながることを示す。
  論文  参考訳（メタデータ） (2022-12-10T04:02:19Z)
• Learning Better Masking for Better Language Model Pre-training [80.31112722910787]
  Masked Language Modelingは、事前学習言語モデル(PrLM)の目的を認知するために広く使われている。 PrLMは、固定マスキング比を適用し、トレーニング全体を通して異なる内容が同じ確率でマスクされるランダム-トークンマスキング戦略を採用するのが一般的である。 本研究では,異なるトレーニング段階におけるマスキング率とマスキング内容の調整を適応的に行う2つのマスク手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T08:27:52Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Probabilistically Masked Language Model Capable of Autoregressive Generation in Arbitrary Word Order [32.71489048856101]
  マスケード言語モデルと自己回帰言語モデルは2種類の言語モデルである。 本稿では,確率的マスキングモデル (PMLM) と呼ばれるマスキング言語モデルに対する確率論的マスキング手法を提案する。 我々は, u-PMLM が自己回帰型置換言語モデルと等価であることを証明した。
  論文  参考訳（メタデータ） (2020-04-24T07:38:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。