論文の概要: Latte-Mix: Measuring Sentence Semantic Similarity with Latent Categorical Mixtures

• arxiv url: http://arxiv.org/abs/2010.11351v1
• Date: Wed, 21 Oct 2020 23:45:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 00:08:01.168858
• Title: Latte-Mix: Measuring Sentence Semantic Similarity with Latent Categorical Mixtures
• Title（参考訳）: Latte-Mix:潜在カテゴリー混合による意味意味的類似度の測定
• Authors: M. Li, H. Bai, L. Tan, K. Xiong, M. Li, J. Lin
• Abstract要約: 既学習言語モデルに基づいて分類的変分オートエンコーダを学習する。 ラッテ・ミクスによりこれらの微調整モデルをさらに改善できることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring sentence semantic similarity using pre-trained language models such as BERT generally yields unsatisfactory zero-shot performance, and one main reason is ineffective token aggregation methods such as mean pooling. In this paper, we demonstrate under a Bayesian framework that distance between primitive statistics such as the mean of word embeddings are fundamentally flawed for capturing sentence-level semantic similarity. To remedy this issue, we propose to learn a categorical variational autoencoder (VAE) based on off-the-shelf pre-trained language models. We theoretically prove that measuring the distance between the latent categorical mixtures, namely Latte-Mix, can better reflect the true sentence semantic similarity. In addition, our Bayesian framework provides explanations for why models finetuned on labelled sentence pairs have better zero-shot performance. We also empirically demonstrate that these finetuned models could be further improved by Latte-Mix. Our method not only yields the state-of-the-art zero-shot performance on semantic similarity datasets such as STS, but also enjoy the benefits of fast training and having small memory footprints.
• Abstract（参考訳）: BERTのような事前訓練された言語モデルを用いた文の意味的類似性の測定は、一般的には不満足なゼロショット性能をもたらす。 本稿では,単語埋め込みの平均などの原始統計量間の距離が,文レベルの意味的類似性を捉えるのに根本的な欠陥があることを示す。 この問題を解決するために,本研究では,既学習言語モデルに基づく分類変分オートエンコーダ(VAE)の学習を提案する。 理論的には、潜在カテゴリの混合、すなわちラテミックス間の距離を測定することは、真文の意味的類似性をよりよく反映できることを証明している。 さらに、ベイジアンフレームワークは、ラベル付き文対に微調整されたモデルがゼロショット性能を向上する理由を説明する。 また,latte-mixにより,これらの微調整モデルをさらに改善できることを実証的に実証した。 本手法は,stsのような意味的類似性データセットに対して最先端のゼロショット性能をもたらすだけでなく,高速なトレーニングと少ないメモリフットプリントのメリットを享受する。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Semantic similarity prediction is better than other semantic similarity measures [5.176134438571082]
  意味的類似度を測ることのみに関心がある場合、そのようなタスクのために微調整されたモデルを用いて、その類似度を直接予測する方がよいと論じる。 GLUEベンチマークから得られたセマンティックテキスト類似性ベンチマークタスク(STS-B)の微調整モデルを用いて、STSScoreアプローチを定義し、その結果の類似性は他の手法よりも堅牢なセマンティック類似性尺度に対する期待に合致していることを示す。
  論文  参考訳（メタデータ） (2023-09-22T08:11:01Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects [92.80955339180119]
  メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。 これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T07:00:53Z)
• Robust Textual Embedding against Word-level Adversarial Attacks [15.235449552083043]
  我々は、FTML(Fast Triplet Metric Learning)と呼ばれる新しい堅牢なトレーニング手法を提案する。 FTMLは, 様々な先進攻撃に対して, モデルロバスト性を著しく向上させることができることを示す。 我々の研究は、ロバストな単語埋め込みによってテキストの堅牢性を改善する大きな可能性を示している。
  論文  参考訳（メタデータ） (2022-02-28T14:25:00Z)
• Semantic Answer Similarity for Evaluating Question Answering Models [2.279676596857721]
  SASは、意味応答の類似度を推定するためのクロスエンコーダベースの計量である。 近年の変圧器モデルに基づく意味的類似度指標は,従来の語彙的類似度指標よりも人間の判断とよく相関していることを示す。
  論文  参考訳（メタデータ） (2021-08-13T09:12:27Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• An end-to-end approach for the verification problem: learning the right distance [15.553424028461885]
  パラメトリックな擬似距離を導入し、エンコーダと共同で学習することで、メトリック学習の設定を強化する。 まず、仮説テストに使用できる確率比を近似して示す。 提案手法では,実際の距離を持つメートル法学習に比べて,学習の簡易化が図られている。
  論文  参考訳（メタデータ） (2020-02-21T18:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。