論文の概要: Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2209.09433v1
• Date: Tue, 20 Sep 2022 03:01:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 18:08:49.140540
• Title: Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
• Title（参考訳）: 文埋め込みのコントラスト学習のための非言語的スーパービジョン
• Authors: Yiren Jian and Chongyang Gao and Soroush Vosoughi
• Abstract要約: 文エンコーダとしてのTransformerモデルの性能はマルチモーダルなマルチタスク損失のトレーニングによって改善できる。 非言語的データに対する我々のフレームワークの依存は、言語に依存しないので、英語のNLPを超えて広く適用することができる。
• 参考スコア（独自算出の注目度）: 14.244787327283335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic representation learning for sentences is an important and well-studied problem in NLP. The current trend for this task involves training a Transformer-based sentence encoder through a contrastive objective with text, i.e., clustering sentences with semantically similar meanings and scattering others. In this work, we find the performance of Transformer models as sentence encoders can be improved by training with multi-modal multi-task losses, using unpaired examples from another modality (e.g., sentences and unrelated image/audio data). In particular, besides learning by the contrastive loss on text, our model clusters examples from a non-linguistic domain (e.g., visual/audio) with a similar contrastive loss at the same time. The reliance of our framework on unpaired non-linguistic data makes it language-agnostic, enabling it to be widely applicable beyond English NLP. Experiments on 7 semantic textual similarity benchmarks reveal that models trained with the additional non-linguistic (images/audio) contrastive objective lead to higher quality sentence embeddings. This indicates that Transformer models are able to generalize better by doing a similar task (i.e., clustering) with unpaired examples from different modalities in a multi-task fashion.
• Abstract（参考訳）: 文のセマンティック表現学習は、NLPにおいて重要かつよく研究された問題である。 このタスクの現在のトレンドは、テキストとの対比目的、すなわち意味的に類似した意味を持つ文章をクラスタリングし、他の文章を散乱することでトランスフォーマベースの文エンコーダを訓練することである。 本研究では,文エンコーダとしてのTransformerモデルの性能を,他のモダリティ(文や無関係画像/オーディオデータなど)の未ペア例を用いて,マルチモーダルなマルチタスク損失のトレーニングによって向上できることを示す。 特に、テキストにおける対照的な損失による学習に加えて、我々のモデルは、類似した対照的な損失を伴う非言語的ドメイン(例えば、ビジュアル/オーディオ)からサンプルをクラスタリングする。 非言語的データに対する我々のフレームワークの依存は言語に依存しないので、英語のNLPを超えて広く適用することができる。 7つの意味的テキスト類似性ベンチマークの実験により、追加の非言語的(イメージ/オーディオ)で訓練されたモデルは、高い品質の文の埋め込みにつながることが明らかになった。 このことは、Transformerモデルが、類似したタスク(すなわちクラスタリング)をマルチタスク方式で異なるモダリティの例で実行することで、より一般化できることを示している。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• SenTest: Evaluating Robustness of Sentence Encoders [0.4194295877935868]
  本研究は文エンコーダの堅牢性を評価することに焦点を当てる。 我々はその堅牢性を評価するためにいくつかの敵攻撃を用いる。 実験結果は文エンコーダの堅牢性を強く損なう。
  論文  参考訳（メタデータ） (2023-11-29T15:21:35Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation [59.91139600152296]
  ParaAMRは、抽象的な表現のバックトランスレーションによって生成される、大規模な構文的に多様なパラフレーズデータセットである。 そこで本研究では,ParaAMRを用いて文の埋め込み学習,構文的に制御されたパラフレーズ生成,数ショット学習のためのデータ拡張という,3つのNLPタスクを改善することができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T02:27:33Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• A Differentiable Language Model Adversarial Attack on Text Classifiers [10.658675415759697]
  自然言語処理のための新しいブラックボックス文レベルアタックを提案する。 本手法は,事前学習した言語モデルを微調整して,逆例を生成する。 提案手法は, 計算量と人的評価の両方において, 多様なNLP問題において, 競合相手よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-23T14:43:13Z)
• CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding [35.003401250150034]
  本稿では,事前学習した言語モデルの堅牢性を改善するために,セマントIc負例を用いたコントラスト学習を提案する。 CLINEは、意味論的敵対攻撃下での堅牢性を改善するために、教師なしの意味論的ネガティブな例を構築している。 実験結果から,本手法は感情分析,推論,読解作業において大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-07-01T13:34:12Z)
• Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
  運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-04-11T03:32:49Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。