論文の概要: Confidence Regularized Masked Language Modeling using Text Length

• arxiv url: http://arxiv.org/abs/2504.06037v2
• Date: Wed, 09 Apr 2025 02:32:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 09:45:07.314655
• Title: Confidence Regularized Masked Language Modeling using Text Length
• Title（参考訳）: テキスト長を用いた信頼度正規化マスケッド言語モデリング
• Authors: Seunghyun Ji, Soowon Lee,
• Abstract要約: マスケード言語モデリングは言語表現を学習するのに広く用いられる手法であり、各入力においてランダムにマスキングされた単語を予測する。 この問題は、入力テキストが短いとき、可能な単語分布はエントロピーが高い傾向にあり、その予測においてモデルが過信される可能性があるため、より顕著になる。 本稿では,入力長に基づいて正則化強度を適応的に調整する新しい信頼度正則化器を提案する。GLUEおよびSQuADベンチマークによる実験により,本手法が精度と期待校正誤差の両方を改善することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Masked language modeling is a widely used method for learning language representations, where the model predicts a randomly masked word in each input. However, this approach typically considers only a single correct answer during training, ignoring the variety of plausible alternatives that humans might choose. This issue becomes more pronounced when the input text is short, as the possible word distribution tends to have higher entropy, potentially causing the model to become overconfident in its predictions. To mitigate this, we propose a novel confidence regularizer that adaptively adjusts the regularization strength based on the input length. Experiments on the GLUE and SQuAD benchmarks show that our method improves both accuracy and expected calibration error
• Abstract（参考訳）: マスケード言語モデリングは言語表現を学習するのに広く用いられる手法であり、各入力においてランダムにマスキングされた単語を予測する。 しかし、このアプローチは通常、トレーニング中に1つの正しい答えしか考えず、人間が選択できる様々な選択肢を無視している。 この問題は、入力テキストが短いとき、可能な単語分布はエントロピーが高い傾向にあり、その予測においてモデルが過信される可能性があるため、より顕著になる。 これを軽減するために,入力長に基づいて正則化強度を適応的に調整する新しい信頼正則化器を提案する。 GLUEとSQuADのベンチマーク実験により、我々の手法は精度と期待校正誤差の両方を改善することが示された。

関連論文リスト

• Beyond Image-Text Matching: Verb Understanding in Multimodal Transformers Using Guided Masking [0.4543820534430524]
  この研究はガイドマスキング(英語版)と呼ばれる代替の探索戦略を導入する。 提案手法はマスキングを用いて異なるモダリティを識別し、マスキングされた単語を高精度に予測するモデルの能力を評価する。 ViLBERT,LXMERT,UNITER,VisualBERTの誘導マスキングにより,正しい動詞を高精度に予測できることを示す。
  論文  参考訳（メタデータ） (2024-01-29T21:22:23Z)
• Word-Level Representation From Bytes For Language Modeling [46.28198397863388]
  サブワードのトークン化はノイズに対して堅牢ではなく、新しい言語への一般化が難しい。 本稿では,単語レベルの表現をバイトから直接構築するクロスアテンションネットワークと,単語レベルの隠蔽状態に基づくサブワードレベルの予測を導入する。 Byte2Wordは強力なサブワードベースラインBERTと同等だが、埋め込みサイズは10%程度しかない。
  論文  参考訳（メタデータ） (2022-11-23T03:11:13Z)
• Word Order Matters when you Increase Masking [70.29624135819884]
  本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。 位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
  論文  参考訳（メタデータ） (2022-11-08T18:14:04Z)
• uChecker: Masked Pretrained Language Models as Unsupervised Chinese Spelling Checkers [23.343006562849126]
  そこで我々はtextbfuChecker というフレームワークを提案し,教師なしのスペル検出と修正を行う。 BERTのようなマスキーク事前訓練言語モデルをバックボーンモデルとして導入する。 各種フレキシブルなMASKの操作に特化して,マスク付き言語モデルを微調整するためのコンフュージョンセット誘導マスキング戦略を提案する。
  論文  参考訳（メタデータ） (2022-09-15T05:57:12Z)
• Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment [49.45399359826453]
  言語間の言語モデルは通常、多言語テキストやパラレル文の言語モデリングで事前訓練される。 本稿では,新たな言語間事前学習課題として認知単語アライメントを導入する。 実験結果から,本手法は各種データセットの言語間移動性を向上することが示された。
  論文  参考訳（メタデータ） (2021-06-11T13:36:01Z)
• MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
  文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
  論文  参考訳（メタデータ） (2020-12-17T04:54:16Z)
• Word Shape Matters: Robust Machine Translation with Visual Embedding [78.96234298075389]
  文字レベルNLPモデルの入力シンボルを新たに符号化する。 文字が印刷されたときの画像を通して各文字の形状をエンコードする。 我々はこの新たな戦略を視覚的埋め込みと呼び、NLPモデルの堅牢性を向上させることが期待されている。
  論文  参考訳（メタデータ） (2020-10-20T04:08:03Z)
• Masking as an Efficient Alternative to Finetuning for Pretrained Language Models [49.64561153284428]
  我々は、微調整によって修正する代わりに、事前訓練された重量に対する選択的な二乗マスクを学習する。 内在的評価では、マスキング言語モデルによって計算された表現が、下流タスクの解決に必要な情報を符号化していることを示す。
  論文  参考訳（メタデータ） (2020-04-26T15:03:47Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。