論文の概要: Contextual Representation Learning beyond Masked Language Modeling

• arxiv url: http://arxiv.org/abs/2204.04163v1
• Date: Fri, 8 Apr 2022 16:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 12:40:38.200294
• Title: Contextual Representation Learning beyond Masked Language Modeling
• Title（参考訳）: マスク言語モデリングを超えた文脈表現学習
• Authors: Zhiyi Fu, Wangchunshu Zhou, Jingjing Xu, Hao Zhou, Lei Li
• Abstract要約: BERTのような言語モデル(MLM)を文脈的に学習する。 これらの課題に対処するために,直接的にグローバルな意味論を表現学習するTACOを提案する。 TACOは、文脈化された表現に隠された文脈意味を抽出し、モデルにグローバルな意味論への参加を促す。
• 参考スコア（独自算出の注目度）: 45.46220173487394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do masked language models (MLMs) such as BERT learn contextual representations? In this work, we analyze the learning dynamics of MLMs. We find that MLMs adopt sampled embeddings as anchors to estimate and inject contextual semantics to representations, which limits the efficiency and effectiveness of MLMs. To address these issues, we propose TACO, a simple yet effective representation learning approach to directly model global semantics. TACO extracts and aligns contextual semantics hidden in contextualized representations to encourage models to attend global semantics when generating contextualized representations. Experiments on the GLUE benchmark show that TACO achieves up to 5x speedup and up to 1.2 points average improvement over existing MLMs. The code is available at https://github.com/FUZHIYI/TACO.
• Abstract（参考訳）: BERTのようなマスキング言語モデル(MLM)はどのようにコンテキスト表現を学ぶのか? 本研究では,MLMの学習力学を解析する。 MLMの効率と有効性を制限するために, サンプル埋め込みをアンカーとして, 文脈意味論を表現に注入することを発見した。 これらの課題に対処するため,グローバルな意味論を直接モデル化するシンプルな表現学習手法であるTACOを提案する。 tacoはコンテキスト化された表現に隠されたコンテキストセマンティクスを抽出・調整し、モデルがコンテキスト化された表現を生成する際にグローバルセマンティクスに出席するよう促す。 GLUEベンチマークの実験では、TACOは既存のMLMよりも最大5倍のスピードアップと1.2ポイントの平均的な改善を実現している。 コードはhttps://github.com/FUZHIYI/TACO.comで公開されている。

関連論文リスト

• Can MLLMs Guide Weakly-Supervised Temporal Action Localization Tasks? [6.7065734065794835]
  MLLM4WTALと呼ばれる新しい学習パラダイムを導入する。 MLLMのポテンシャルを利用して、時間的アクションキーセマンティクスと完全なセマンティクスの事前を提供する。 キーセマンティックマッチング(KSM)と完全セマンティック再構成(CSR)の2つの異なるモジュールを統合することでこれを実現できる。
  論文  参考訳（メタデータ） (2024-11-13T09:37:24Z)
• ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models [73.34709921061928]
  マルチモーダル大言語モデル(MLLM)に視覚的参照を注入する学習自由手法を提案する。 MLLMにおけるテキストプロンプトトークンと視覚トークンの関係を観察する。 我々は,エネルギー関数に基づいて学習可能な視覚トークンを最適化し,注目マップにおける参照領域の強度を高める。
  論文  参考訳（メタデータ） (2024-07-31T11:40:29Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• IERL: Interpretable Ensemble Representation Learning -- Combining CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
  大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。 近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。 本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T05:02:34Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)
• Masked and Permuted Implicit Context Learning for Scene Text Recognition [8.742571493814326]
  シーン認識(STR)は、テキストスタイル、形状、背景の変化のため困難である。 単一のデコーダ内において、STRのためのマスク付き暗黙的文脈学習ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:31:02Z)
• Representation Deficiency in Masked Language Modeling [107.39136254013042]
  我々は Masked Autoencoder アーキテクチャを事前トレーニングする MAE-LM を提案し,$tt[MASK]$トークンをエンコーダから除外する。 GLUE と SQuAD ベンチマークで微調整した場合,MAE-LM は,事前学習したモデルに対して,異なる事前学習設定とモデルサイズで一貫した性能を示した。
  論文  参考訳（メタデータ） (2023-02-04T01:54:17Z)
• Fast, Effective and Self-Supervised: Transforming Masked LanguageModels into Universal Lexical and Sentence Encoders [66.76141128555099]
  余分なデータや監督なしでも、タスクを普遍的な語彙や文エンコーダに変換することが可能であることを示す。 極めて単純で高速で効果的なコントラスト学習手法であるMirror-BERTを提案する。 Mirror-BERT は完全に同一またはわずかに修正された文字列対を正の(同義の)微調整例として依存する。 語彙レベルと文レベルの両方のタスクにおいて、異なるドメインや異なる言語でMirror-BERTを使用したオフザシェルフよりも大幅に向上したことを報告します。
  論文  参考訳（メタデータ） (2021-04-16T10:49:56Z)
• Universal Sentence Representation Learning with Conditional Masked Language Model [7.334766841801749]
  文表現を効果的に学習するための条件付きマスク言語モデリング(M)を提案する。 我々の英語CMLMモデルは,SentEvalの最先端性能を実現する。 完全に教師なしの学習方法として、CMLMは幅広い言語やドメインに便利に拡張できます。
  論文  参考訳（メタデータ） (2020-12-28T18:06:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。