論文の概要: Sen2Pro: A Probabilistic Perspective to Sentence Embedding from Pre-trained Language Model

• arxiv url: http://arxiv.org/abs/2306.02247v1
• Date: Sun, 4 Jun 2023 03:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 19:05:51.511384
• Title: Sen2Pro: A Probabilistic Perspective to Sentence Embedding from Pre-trained Language Model
• Title（参考訳）: Sen2Pro:事前訓練された言語モデルからの文埋め込みの確率論的視点
• Authors: Lingfeng Shen, Haiyun Jiang, Lemao Liu, Shuming Shi
• Abstract要約: 本稿では, PLM からの確率的文埋め込み (Sen2Pro) の効率的な枠組みを提案する。 文を埋め込み空間内の確率密度分布として表現し、モデル不確かさとデータ不確かさの両方を反映する。 提案するフレームワークは、PLMを再訓練することなく、プラグイン・アンド・プレイ方式で動作している。
• 参考スコア（独自算出の注目度）: 35.6803390044542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentence embedding is one of the most fundamental tasks in Natural Language Processing and plays an important role in various tasks. The recent breakthrough in sentence embedding is achieved by pre-trained language models (PLMs). Despite its success, an embedded vector (Sen2Vec) representing a point estimate does not naturally express uncertainty in a taskagnostic way. This paper thereby proposes an efficient framework on probabilistic sentence embedding (Sen2Pro) from PLMs, and it represents a sentence as a probability density distribution in an embedding space to reflect both model uncertainty and data uncertainty (i.e., many-to-one nature) in the sentence representation. The proposed framework performs in a plug-and-play way without retraining PLMs anymore, and it is easy to implement and generally applied on top of any PLM. The superiority of Sen2Pro over Sen2Vec has been theoretically verified and practically illustrated on different NLP tasks.
• Abstract（参考訳）: 文埋め込みは自然言語処理における最も基本的なタスクの1つであり、様々なタスクにおいて重要な役割を果たす。 最近の文埋め込みのブレークスルーは、事前訓練された言語モデル(PLM)によって達成されている。 その成功にもかかわらず、点推定を表す埋め込みベクトル(Sen2Vec)は、タスクに依存しない方法で自然に不確実性を表現しない。 本稿では,plmsからの確率的文埋め込み(sen2pro)に関する効率的な枠組みを提案し,文表現におけるモデル不確かさとデータ不確実性(すなわち,1つの性質)の両方を反映した文の確率密度分布として表現する。 提案フレームワークは,PLMを再学習することなく,プラグイン・アンド・プレイ方式で動作し,実装が容易であり,一般にPLM上に適用される。 Sen2Vecに対するSen2Proの優位性は理論的に検証され、異なるNLPタスクで実際に説明されている。

関連論文リスト

• ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
  本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。 本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。 本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T18:16:06Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
  文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。 文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
  論文  参考訳（メタデータ） (2022-05-25T18:00:09Z)
• Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text Correspondence [45.9949173746044]
  大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。 そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。 このタスクにより、PLMは語彙意味情報を学習することができる。
  論文  参考訳（メタデータ） (2022-05-08T08:37:36Z)
• Learning a Word-Level Language Model with Sentence-Level Noise Contrastive Estimation for Contextual Sentence Probability Estimation [3.1040192682787415]
  文や単語列の確率分布を推測することは自然言語処理の重要なプロセスである。 単語レベルの言語モデル(LM)は、単語列の共同確率を計算するために広く採用されているが、文確率推定(SPE)に十分長いコンテキストの取得が困難である。 最近の研究は、リカレントニューラルネットワーク(RNN)を用いた文レベルノイズコントラスト推定(NCE)を用いたトレーニング手法を導入している。 本手法を単純な単語レベルのRNN LMに適用し,ネットワークアーキテクチャではなく文レベルのNCEトレーニングの効果に着目した。
  論文  参考訳（メタデータ） (2021-03-14T09:17:37Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Variance-reduced Language Pretraining via a Mask Proposal Network [5.819397109258169]
  自己指導型学習(英: self-supervised learning, a.k.a.)は、自然言語処理において重要である。 本稿では,勾配分散低減の観点から問題に取り組む。 そこで我々は,マスク提案の最適分布を近似したMAsk Network(MAPNet)を導入した。
  論文  参考訳（メタデータ） (2020-08-12T14:12:32Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。