論文の概要: CMLM-CSE: Based on Conditional MLM Contrastive Learning for Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2306.09594v1
• Date: Fri, 16 Jun 2023 02:39:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 15:19:14.751551
• Title: CMLM-CSE: Based on Conditional MLM Contrastive Learning for Sentence Embeddings
• Title（参考訳）: CMLM-CSE:文埋め込みのための条件付きMLMコントラスト学習
• Authors: Wei Zhang, Xu Chen
• Abstract要約: 条件付き損失に基づく教師なしコントラスト学習フレームワークCMLM-CSEを提案する。 タスクを実行するために文埋め込みを統合するために補助ネットワークが追加され、さらにマスキングされた単語情報を学ぶために文埋め込みが強制される。 事前学習言語モデルとしてBertbaseを用いた場合,テキスト類似タスクでは平均0.55ポイント,テキスト類似タスクでは平均0.3ポイントを,Robertabaseが事前学習言語モデルではSimCSEを平均0.3ポイント上回った。
• 参考スコア（独自算出の注目度）: 16.592691470405683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional comparative learning sentence embedding directly uses the encoder to extract sentence features, and then passes in the comparative loss function for learning. However, this method pays too much attention to the sentence body and ignores the influence of some words in the sentence on the sentence semantics. To this end, we propose CMLM-CSE, an unsupervised contrastive learning framework based on conditional MLM. On the basis of traditional contrastive learning, an additional auxiliary network is added to integrate sentence embedding to perform MLM tasks, forcing sentence embedding to learn more masked word information. Finally, when Bertbase was used as the pretraining language model, we exceeded SimCSE by 0.55 percentage points on average in textual similarity tasks, and when Robertabase was used as the pretraining language model, we exceeded SimCSE by 0.3 percentage points on average in textual similarity tasks.
• Abstract（参考訳）: 従来の比較学習文の埋め込みは、エンコーダを直接使用して文の特徴を抽出し、学習のための比較損失関数を渡す。 しかし,本手法は文体に過度に注意を払い,文中の一部の単語が文の意味論に与える影響を無視する。 そこで本稿では,条件付きMLMに基づく教師なしコントラスト学習フレームワークCMLM-CSEを提案する。 従来のコントラスト学習に基づいて、MLMタスクを実行するために文埋め込みを統合する補助ネットワークを追加し、さらにマスキングされた単語情報を学ぶよう強制する。 最後に、事前学習言語モデルとしてbertbaseを用いた場合、テキスト類似度タスクの平均でsimcseを0.55%上回り、事前学習言語モデルとしてrobertabaseを用いた場合、テキスト類似度タスクの平均でsimcseを0.3%上回った。

関連論文リスト

• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• Token Prediction as Implicit Classification to Identify LLM-Generated Text [37.89852204279844]
  本稿では,テキスト生成に関わる大きな言語モデル (LLM) を識別するための新しいアプローチを提案する。 ベースLMに新たな分類層を追加する代わりに、分類タスクを次の注意すべき予測タスクとして再設定する。 実験のバックボーンとしてText-to-Text Transfer Transformer (T5) モデルを用いる。
  論文  参考訳（メタデータ） (2023-11-15T06:33:52Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Instance Smoothed Contrastive Learning for Unsupervised Sentence Embedding [16.598732694215137]
  特徴空間における埋め込みの境界を円滑にするためのIS-CSEを提案する。 我々は,標準的な意味テキスト類似性(STS)タスクについて評価し,平均78.30%,79.47%,77.73%,79.42%のスピアマン相関を達成した。
  論文  参考訳（メタデータ） (2023-05-12T12:46:13Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• Frustratingly Simple Pretraining Alternatives to Masked Language Modeling [10.732163031244651]
  Masked Language Modeling (MLM) は自然言語処理においてテキスト表現の学習に広く用いられている。 本稿では,トークンレベルの分類タスクを表現の代替として用いた5つの簡単な事前学習目標について検討する。
  論文  参考訳（メタデータ） (2021-09-04T08:52:37Z)
• Universal Sentence Representation Learning with Conditional Masked Language Model [7.334766841801749]
  文表現を効果的に学習するための条件付きマスク言語モデリング(M)を提案する。 我々の英語CMLMモデルは,SentEvalの最先端性能を実現する。 完全に教師なしの学習方法として、CMLMは幅広い言語やドメインに便利に拡張できます。
  論文  参考訳（メタデータ） (2020-12-28T18:06:37Z)
• Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
  本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。 大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2020-05-28T07:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。