論文の概要: ExLM: Rethinking the Impact of [MASK] Tokens in Masked Language Models

• arxiv url: http://arxiv.org/abs/2501.13397v4
• Date: Wed, 05 Feb 2025 08:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:21:16.451775
• Title: ExLM: Rethinking the Impact of [MASK] Tokens in Masked Language Models
• Title（参考訳）: ExLM:masked Language Modelにおける[MASK]トークンの影響を再考する
• Authors: Kangjie Zheng, Junwei Yang, Siyue Liang, Bin Feng, Zequn Liu, Wei Ju, Zhiping Xiao, Ming Zhang,
• Abstract要約: Masked Language Models (ML)Mssは入力シーケンスの部分を[MASK]トークンでランダムにマスキングしてトレーニングし、残りのコンテキストに基づいて元のコンテンツを再構築する。
• 参考スコア（独自算出の注目度）: 11.997499811414837
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Masked Language Models (MLMs) have achieved remarkable success in many self-supervised representation learning tasks. MLMs are trained by randomly masking portions of the input sequences with [MASK] tokens and learning to reconstruct the original content based on the remaining context. This paper explores the impact of [MASK] tokens on MLMs. Analytical studies show that masking tokens can introduce the corrupted semantics problem, wherein the corrupted context may convey multiple, ambiguous meanings. This problem is also a key factor affecting the performance of MLMs on downstream tasks. Based on these findings, we propose a novel enhanced-context MLM, ExLM. Our approach expands [MASK] tokens in the input context and models the dependencies between these expanded states. This enhancement increases context capacity and enables the model to capture richer semantic information, effectively mitigating the corrupted semantics problem during pre-training. Experimental results demonstrate that ExLM achieves significant performance improvements in both text modeling and SMILES modeling tasks. Further analysis confirms that ExLM enriches semantic representations through context enhancement, and effectively reduces the semantic multimodality commonly observed in MLMs.
• Abstract（参考訳）: Masked Language Models (MLM) は多くの自己指導型表現学習タスクにおいて顕著な成功を収めた。 MLMは入力シーケンスの一部を[MASK]トークンでランダムにマスキングしてトレーニングし、残りのコンテキストに基づいて元のコンテンツを再構築する。 本稿では,[MASK]トークンがMLMに与える影響について検討する。 分析研究により、マスキングトークンは、破損した意味論の問題を導入し、劣化した文脈が複数の曖昧な意味を伝達する可能性があることが示されている。 この問題は、下流タスクにおけるMLMのパフォーマンスに影響を及ぼす重要な要因でもある。 これらの知見に基づき,新しい拡張テキストMLM, ExLMを提案する。 我々のアプローチは入力コンテキストにおける[MASK]トークンを拡張し、これらの拡張状態間の依存関係をモデル化します。 この拡張により、コンテキストキャパシティが向上し、モデルがよりリッチなセマンティック情報をキャプチャし、事前トレーニング中に破損したセマンティックス問題を効果的に軽減することができる。 実験結果から,ExLMはテキストモデリングとSMILESモデリングの両方において,大幅な性能向上を実現していることがわかった。 さらなる分析により、ExLMは文脈拡張を通じて意味表現を豊かにし、MLMでよく見られる意味的多義性を効果的に減少させる。

関連論文リスト

• Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [69.35226485836641]
  既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。 DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。 DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
  論文  参考訳（メタデータ） (2024-11-29T11:24:23Z)
• Enhancing Instruction-Following Capability of Visual-Language Models by Reducing Image Redundancy [37.471419716572086]
  LLM(Large Language Model)とMLLM(Multimodal Large Language Model)の命令追従能力には大きなギャップがある。 本稿では,このギャップを軽減するために,VMTC(Visual-Modality Token Compression)とCMAI(Cross-Modality Attention Inhibition)戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-23T05:03:32Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [77.72128397088409]
  本研究は,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。 また,モデルが積極的に複合推論を行うように促す新しい強化学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-04-19T15:53:27Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• Masked and Permuted Implicit Context Learning for Scene Text Recognition [8.742571493814326]
  シーン認識(STR)は、テキストスタイル、形状、背景の変化のため困難である。 単一のデコーダ内において、STRのためのマスク付き暗黙的文脈学習ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:31:02Z)
• Learning In-context Learning for Named Entity Recognition [54.022036267886214]
  実世界のアプリケーションにおける名前付きエンティティ認識は、エンティティタイプの多様性、新しいエンティティタイプの出現、高品質なアノテーションの欠如に悩まされている。 本稿では,PLMにテキスト内NER機能を効果的に注入可能な,テキスト内学習に基づくNERアプローチを提案する。 提案手法は,テキスト内NER能力をPLMに効果的に注入し,PLM+fine-tuningよりも優れることを示す。
  論文  参考訳（メタデータ） (2023-05-18T15:31:34Z)
• Representation Deficiency in Masked Language Modeling [107.39136254013042]
  我々は Masked Autoencoder アーキテクチャを事前トレーニングする MAE-LM を提案し,$tt[MASK]$トークンをエンコーダから除外する。 GLUE と SQuAD ベンチマークで微調整した場合,MAE-LM は,事前学習したモデルに対して,異なる事前学習設定とモデルサイズで一貫した性能を示した。
  論文  参考訳（メタデータ） (2023-02-04T01:54:17Z)
• Contextual Representation Learning beyond Masked Language Modeling [45.46220173487394]
  BERTのような言語モデル(MLM)を文脈的に学習する。 これらの課題に対処するために,直接的にグローバルな意味論を表現学習するTACOを提案する。 TACOは、文脈化された表現に隠された文脈意味を抽出し、モデルにグローバルな意味論への参加を促す。
  論文  参考訳（メタデータ） (2022-04-08T16:18:06Z)
• Warped Language Models for Noise Robust Language Understanding [11.017026606760728]
  Masked Language Models (MLM) は、与えられた文の空白をマスク付きトークンで埋める自己教師型ニューラルネットワークである。 本稿では,WLM上に構築された自然言語理解システムが,対話型言語よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-03T18:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。