論文の概要: D2CSE: Difference-aware Deep continuous prompts for Contrastive Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2304.08991v1
• Date: Tue, 18 Apr 2023 13:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 14:30:14.885570
• Title: D2CSE: Difference-aware Deep continuous prompts for Contrastive Sentence Embeddings
• Title（参考訳）: D2CSE:コントラスト文埋め込みのための差分認識型深部連続プロンプト
• Authors: Hyunjae Lee
• Abstract要約: 本稿では,文の埋め込みを学習するコントラスト型文埋め込み(D2CSE)のための差分認識型深部連続プロンプトについて述べる。 最先端のアプローチと比較して、D2CSEは類似した文の微妙な違いを区別する例外的な文ベクトルを計算する。
• 参考スコア（独自算出の注目度）: 3.04585143845864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes Difference-aware Deep continuous prompt for Contrastive Sentence Embeddings (D2CSE) that learns sentence embeddings. Compared to state-of-the-art approaches, D2CSE computes sentence vectors that are exceptional to distinguish a subtle difference in similar sentences by employing a simple neural architecture for continuous prompts. Unlike existing architectures that require multiple pretrained language models (PLMs) to process a pair of the original and corrupted (subtly modified) sentences, D2CSE avoids cumbersome fine-tuning of multiple PLMs by only optimizing continuous prompts by performing multiple tasks -- i.e., contrastive learning and conditional replaced token detection all done in a self-guided manner. D2CSE overloads a single PLM on continuous prompts and greatly saves memory consumption as a result. The number of training parameters in D2CSE is reduced to about 1\% of existing approaches while substantially improving the quality of sentence embeddings. We evaluate D2CSE on seven Semantic Textual Similarity (STS) benchmarks, using three different metrics, namely, Spearman's rank correlation, recall@K for a retrieval task, and the anisotropy of an embedding space measured in alignment and uniformity. Our empirical results suggest that shallow (not too meticulously devised) continuous prompts can be honed effectively for multiple NLP tasks and lead to improvements upon existing state-of-the-art approaches.
• Abstract（参考訳）: 本稿では,文の埋め込みを学習するコントラスト型文埋め込み(D2CSE)のための差分認識型深部連続プロンプトについて述べる。 最先端のアプローチと比較して、D2CSEは連続的なプロンプトに単純なニューラルアーキテクチャを用いることで、類似した文の微妙な違いを区別する例外的な文ベクトルを計算する。 複数の事前訓練された言語モデル (PLM) を必要とする既存のアーキテクチャとは異なり、D2CSE は複数のタスクを実行することで連続的なプロンプトを最適化することで、複数の PLM の面倒な微調整を回避している。 D2CSEは連続的なプロンプトに1つのPLMをオーバーロードし、結果としてメモリ消費を大幅に削減する。 d2cseのトレーニングパラメータ数は、既存のアプローチの約1\%に削減され、文章埋め込みの品質が大幅に向上する。 本研究では,7つのセマンティックテキスト類似度(STS)ベンチマーク上でD2CSEを評価し,スピアマンのランク相関,検索タスクのリコール@K,アライメントと均一性で測定された埋め込み空間の異方性,という3つの異なる指標を用いた。 実験結果から,複数のnlpタスクに対して,浅い(細心の注意を払わなくても)連続的なプロンプトを効果的に適用できることが示唆された。

関連論文リスト

• An Extensive Study on D2C: Overfitting Remediation in Deep Learning Using a Decentralized Approach [2.7275555568872702]
  Divide2Conquer(D2C)は、ディープラーニングにおけるオーバーフィットを軽減する技術である。 D2Cはトレーニングデータを複数のサブセットに分割し、各サブセットに対して独立して同一モデルをトレーニングする。 ベンチマークデータセットに対する実証的な評価は、D2Cが一般化性能を著しく向上させることを示している。
  論文  参考訳（メタデータ） (2024-11-24T15:31:22Z)
• Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
  双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。 BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Aligning Speakers: Evaluating and Visualizing Text-based Diarization Using Efficient Multiple Sequence Alignment (Extended Version) [21.325463387256807]
  テキストベースのDiarization Error RateとDiarization F1という2つの新しい指標が提案されている。 私たちのメトリクスは、既存のものと比較して多くの種類のエラーを含んでおり、話者ダイアリゼーションにおいてより包括的な分析を可能にします。
  論文  参考訳（メタデータ） (2023-09-14T12:43:26Z)
• Deep Declarative Dynamic Time Warping for End-to-End Learning of Alignment Paths [54.53208538517505]
  本稿では、動的時間ワープ(DTW)による時間的アライメントステップを含む時系列データのエンドツーエンド学習モデルについて述べる。 そこで我々は,2レベル最適化とDecDTWと呼ばれる深層宣言ネットワークに基づくDTW層を提案する。 この特性は、下流損失関数が最適アライメントパス自身で定義されるアプリケーションに特に有用であることを示す。
  論文  参考訳（メタデータ） (2023-03-19T21:58:37Z)
• DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings [51.274478128525686]
  DiffCSEは、文の埋め込みを学習するための教師なしのコントラスト学習フレームワークである。 実験の結果,教師なし文表現学習法では,DiffCSEは最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-04-21T17:32:01Z)
• Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization [87.47977407022492]
  本稿では,シーケンス・ツー・シーケンスの区別を文脈的に比較することで学習が,弱い教師付き行動の局所化に不可欠な帰納的バイアスをもたらすことを論じる。 微分可能な動的プログラミングの定式化の下では、FSD(Fen-fine Sequence Distance)とLCS(Longest Common Subsequence)の2つの相補的コントラストが設計されている。 提案手法は,2つのベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-31T05:13:50Z)
• Benchmarking Deep Models for Salient Object Detection [67.07247772280212]
  汎用SALOD(General SALient Object Detection)ベンチマークを構築し,複数のSOD手法の総合的な比較を行った。 以上の実験では、既存の損失関数は、通常いくつかの指標に特化しているが、他の指標には劣る結果が報告されている。 我々は,深層ネットワークに画素レベルと画像レベルの両方の監視信号を統合することにより,より識別的な特徴を学習するためのエッジ・アウェア・ロス(EA)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T03:43:16Z)
• Sentence Embeddings using Supervised Contrastive Learning [0.0]
  教師付きコントラスト学習によって文埋め込みを構築する新しい手法を提案する。 SNLIデータ上のBERTを微調整し,教師付きクロスエントロピー損失と教師付きコントラスト損失を併用した。
  論文  参考訳（メタデータ） (2021-06-09T03:30:29Z)
• Boosting Continuous Sign Language Recognition via Cross Modality Augmentation [135.30357113518127]
  連続手話認識は不整合のビデオテキストペアを扱う。 クロスモーダル拡張を用いた新しいアーキテクチャを提案する。 提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
  論文  参考訳（メタデータ） (2020-10-11T15:07:50Z)
• ReADS: A Rectified Attentional Double Supervised Network for Scene Text Recognition [22.367624178280682]
  一般的なシーンテキスト認識のためのRectified Attentional Double Supervised Network (ReADS) を精巧に設計する。 ReADSはエンドツーエンドでトレーニングすることができ、ワードレベルのアノテーションのみが必要とされる。
  論文  参考訳（メタデータ） (2020-04-05T02:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。