論文の概要: MCSE: Multimodal Contrastive Learning of Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2204.10931v1
• Date: Fri, 22 Apr 2022 21:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 06:09:01.443099
• Title: MCSE: Multimodal Contrastive Learning of Sentence Embeddings
• Title（参考訳）: MCSE: 文埋め込みのマルチモーダルコントラスト学習
• Authors: Miaoran Zhang, Marius Mosbach, David Ifeoluwa Adelani, Michael A. Hedderich, Dietrich Klakow
• Abstract要約: 本稿では,視覚情報とテキスト情報の両方をマルチモーダル・コントラッシブ・オブジェクトを通じて活用する文埋め込み学習手法を提案する。 提案手法は,各種データセットと事前学習エンコーダのパフォーマンスを継続的に向上することを示す。
• 参考スコア（独自算出の注目度）: 23.630041603311923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning semantically meaningful sentence embeddings is an open problem in natural language processing. In this work, we propose a sentence embedding learning approach that exploits both visual and textual information via a multimodal contrastive objective. Through experiments on a variety of semantic textual similarity tasks, we demonstrate that our approach consistently improves the performance across various datasets and pre-trained encoders. In particular, combining a small amount of multimodal data with a large text-only corpus, we improve the state-of-the-art average Spearman's correlation by 1.7%. By analyzing the properties of the textual embedding space, we show that our model excels in aligning semantically similar sentences, providing an explanation for its improved performance.
• Abstract（参考訳）: 意味的に意味のある文の埋め込みを学習することは自然言語処理においてオープンな問題である。 本研究では,視覚情報とテキスト情報の両方をマルチモーダルコントラスト目的として活用する文埋め込み学習手法を提案する。 様々な意味的テキスト類似性タスクの実験を通じて、我々のアプローチは様々なデータセットと事前学習エンコーダのパフォーマンスを一貫して改善することを示した。 特に、少量のマルチモーダルデータと大きなテキストのみのコーパスを組み合わせることで、平均的な槍手の相関を1.7%向上させる。 テキスト埋め込み空間の特性を解析することにより,我々のモデルが意味的に類似した文の整合に優れており,その性能が向上していることを示す。

関連論文リスト

• Contrastive Learning-based Multi Modal Architecture for Emoticon Prediction by Employing Image-Text Pairs [13.922091192207718]
  本研究の目的は,文,視覚,エモティコン間の関係を分析することである。 我々は,新しいコントラスト学習に基づくマルチモーダルアーキテクチャを提案する。 提案モデルの精度は91%,MCCスコアは90%,エモティコンは90%であった。
  論文  参考訳（メタデータ） (2024-08-05T15:45:59Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Composition-contrastive Learning for Sentence Embeddings [23.85590618900386]
  この作業は、補助的なトレーニング目標や追加のネットワークパラメータのコストを発生させることなく、初めて実施される。 意味的テキスト類似性タスクの実験結果は、最先端のアプローチに匹敵するベースラインの改善を示す。
  論文  参考訳（メタデータ） (2023-07-14T14:39:35Z)
• Universal Multimodal Representation for Language Understanding [110.98786673598015]
  本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。 各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。 そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
  論文  参考訳（メタデータ） (2023-01-09T13:54:11Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Analysis of Joint Speech-Text Embeddings for Semantic Matching [3.6423306784901235]
  ペア音声と書き起こし入力の距離を最小化することにより,セマンティックマッチングのために訓練された共同音声テキスト埋め込み空間について検討する。 我々は,事前学習とマルチタスクの両方のシナリオを通じて,音声認識を組み込む方法を拡張した。
  論文  参考訳（メタデータ） (2022-04-04T04:50:32Z)
• Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
  画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。 提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-04-20T17:56:24Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。