論文の概要: Fast, Effective and Self-Supervised: Transforming Masked LanguageModels
into Universal Lexical and Sentence Encoders
- arxiv url: http://arxiv.org/abs/2104.08027v1
- Date: Fri, 16 Apr 2021 10:49:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 21:46:21.981828
- Title: Fast, Effective and Self-Supervised: Transforming Masked LanguageModels
into Universal Lexical and Sentence Encoders
- Title(参考訳): 高速・効果的・自己監視:マスク言語モデルからユニバーサル語彙・文エンコーダへの変換
- Authors: Fangyu Liu, Ivan Vuli\'c, Anna Korhonen, Nigel Collier
- Abstract要約: 余分なデータや監督なしでも、タスクを普遍的な語彙や文エンコーダに変換することが可能であることを示す。
極めて単純で高速で効果的なコントラスト学習手法であるMirror-BERTを提案する。
Mirror-BERT は完全に同一またはわずかに修正された文字列対を正の(同義の)微調整例として依存する。
語彙レベルと文レベルの両方のタスクにおいて、異なるドメインや異なる言語でMirror-BERTを使用したオフザシェルフよりも大幅に向上したことを報告します。
- 参考スコア(独自算出の注目度): 66.76141128555099
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretrained Masked Language Models (MLMs) have revolutionised NLP in recent
years. However, previous work has indicated that off-the-shelf MLMs are not
effective as universal lexical or sentence encoders without further
task-specific fine-tuning on NLI, sentence similarity, or paraphrasing tasks
using annotated task data. In this work, we demonstrate that it is possible to
turn MLMs into effective universal lexical and sentence encoders even without
any additional data and without any supervision. We propose an extremely
simple, fast and effective contrastive learning technique, termed Mirror-BERT,
which converts MLMs (e.g., BERT and RoBERTa) into such encoders in less than a
minute without any additional external knowledge. Mirror-BERT relies on fully
identical or slightly modified string pairs as positive (i.e., synonymous)
fine-tuning examples, and aims to maximise their similarity during identity
fine-tuning. We report huge gains over off-the-shelf MLMs with Mirror-BERT in
both lexical-level and sentence-level tasks, across different domains and
different languages. Notably, in the standard sentence semantic similarity
(STS) tasks, our self-supervised Mirror-BERT model even matches the performance
of the task-tuned Sentence-BERT models from prior work. Finally, we delve
deeper into the inner workings of MLMs, and suggest some evidence on why this
simple approach can yield effective univeral lexical and sentence encoders.
- Abstract(参考訳): MLM (Pretrained Masked Language Models) は近年NLPに革命をもたらした。
しかし, 従来の研究は, NLI, 文類似性, あるいは注釈付きタスクデータを用いたパラフレーズ処理を行わずに, 汎用語彙や文エンコーダとして有効でないことを示した。
本研究では,MLMを余分なデータや監督なしに,有効で普遍的な語彙および文エンコーダに変換することが可能であることを実証する。
我々は、MLM(例えばBERTやRoBERTa)を1分以内で変換する、極めて単純で高速で効果的なコントラスト学習手法であるMirror-BERTを提案する。
Mirror-BERT は完全に同一あるいはわずかに修正された文字列対を正(即ち同義)の微調整の例として頼りにしており、アイデンティティの微調整中にそれらの類似性を最大化することを目指している。
語彙レベルと文レベルの両方のタスクにおいて、異なるドメインや異なる言語で、Mirror-BERTを用いた既製のMLMよりも大幅に向上したことを報告した。
特に、標準文意味類似性(STS)タスクでは、自己教師型Mirror-BERTモデルは、タスクチューニングされたSentence-BERTモデルの性能を以前の作業と一致させる。
最後に, MLMの内部動作を深く掘り下げ, この単純なアプローチが, 効果的な一進的語彙および文エンコーダを生成できる理由を示唆する。
関連論文リスト
- Looking Right is Sometimes Right: Investigating the Capabilities of
Decoder-only LLMs for Sequence Labeling [0.0]
最近のデコーダのみの大規模言語モデル(LLM)は、より小さなステートベースのエンコーダと同等に動作する。
因果マスクを階層的に除去することで,IEタスク上でのオープンLLMのSL性能を向上させる手法について検討する。
その結果,層依存性CM除去によるオープンLCMは,強いエンコーダや命令調整LDMよりも優れていた。
論文 参考訳(メタデータ) (2024-01-25T22:50:48Z) - ModaVerse: Efficiently Transforming Modalities with LLMs [28.656227306028743]
ModaVerseはマルチモーダルな大規模言語モデルで、様々なモダリティにまたがってコンテンツを解釈・変換できる。
自然言語のレベルで直接動作する新しい入出力(I/O)アライメント機構を提案する。
論文 参考訳(メタデータ) (2024-01-12T06:28:54Z) - Which Syntactic Capabilities Are Statistically Learned by Masked
Language Models for Code? [51.29970742152668]
精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。
これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
論文 参考訳(メタデータ) (2024-01-03T02:44:02Z) - Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。
大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。
英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
論文 参考訳(メタデータ) (2023-12-21T05:32:49Z) - Take One Step at a Time to Know Incremental Utility of Demonstration: An
Analysis on Reranking for Few-Shot In-Context Learning [26.89773208427933]
In-Context Learning (ICL)は大規模言語モデル(LLM)の創発的能力である
従来の研究では、ラベルとしてLLMの出力を使用することが、デモを選択するためのトレーニングモデルに有効であることが示されている。
本稿では,LLMの出力確率に着目して,異なるユーティリティ関数の解析を行う。
論文 参考訳(メタデータ) (2023-11-16T07:03:54Z) - TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models [69.49978333446538]
TEALは任意のモダリティからの入力をトークンシーケンスとして扱うアプローチである。
トークンシーケンスを学習可能な埋め込み行列で結合埋め込み空間に埋め込む。
実験により、TEALはマルチモーダル理解を大幅に改善することが示された。
論文 参考訳(メタデータ) (2023-11-08T10:34:16Z) - Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness
and Ethics [32.123919380959485]
MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。
マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。
LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
論文 参考訳(メタデータ) (2023-09-13T17:57:21Z) - VideoLLM: Modeling Video Sequence with Large Language Models [70.32832021713864]
既存のビデオ理解モデルは、しばしばタスク固有であり、多様なタスクを扱う包括的な能力に欠ける。
我々は,事前学習したLLMのシーケンス推論機能を活用する,VideoLLMという新しいフレームワークを提案する。
VideoLLMは慎重に設計されたModality and Semantic Translatorを組み込んでおり、様々なモードからの入力を統一されたトークンシーケンスに変換する。
論文 参考訳(メタデータ) (2023-05-22T17:51:22Z) - Representation Deficiency in Masked Language Modeling [101.42649777874767]
我々は Masked Autoencoder アーキテクチャを事前トレーニングする MAE-LM を提案し,$tt[MASK]$トークンをエンコーダから除外する。
GLUE と SQuAD ベンチマークで微調整した場合,MAE-LM は,事前学習したモデルに対して,異なる事前学習設定とモデルサイズで一貫した性能を示した。
論文 参考訳(メタデータ) (2023-02-04T01:54:17Z) - Contextual Representation Learning beyond Masked Language Modeling [45.46220173487394]
BERTのような言語モデル(MLM)を文脈的に学習する。
これらの課題に対処するために,直接的にグローバルな意味論を表現学習するTACOを提案する。
TACOは、文脈化された表現に隠された文脈意味を抽出し、モデルにグローバルな意味論への参加を促す。
論文 参考訳(メタデータ) (2022-04-08T16:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。