論文の概要: HiCL: Hierarchical Contrastive Learning of Unsupervised Sentence
Embeddings
- arxiv url: http://arxiv.org/abs/2310.09720v1
- Date: Sun, 15 Oct 2023 03:14:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 18:43:02.986107
- Title: HiCL: Hierarchical Contrastive Learning of Unsupervised Sentence
Embeddings
- Title(参考訳): HiCL: 教師なし文の階層的コントラスト学習
- Authors: Zhuofeng Wu, Chaowei Xiao, VG Vinod Vydiswaran
- Abstract要約: HiCLは、訓練効率と効率を改善するために、局所的なセグメントレベルとグローバルなシーケンスレベルの関係を考慮する。
実験では、HiCLは7つの広範囲に評価されたSTSタスクに対して、以前のトップパフォーマンスSNCSEモデルを強化する。
- 参考スコア(独自算出の注目度): 31.50124610417377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a hierarchical contrastive learning framework,
HiCL, which considers local segment-level and global sequence-level
relationships to improve training efficiency and effectiveness. Traditional
methods typically encode a sequence in its entirety for contrast with others,
often neglecting local representation learning, leading to challenges in
generalizing to shorter texts. Conversely, HiCL improves its effectiveness by
dividing the sequence into several segments and employing both local and global
contrastive learning to model segment-level and sequence-level relationships.
Further, considering the quadratic time complexity of transformers over input
tokens, HiCL boosts training efficiency by first encoding short segments and
then aggregating them to obtain the sequence representation. Extensive
experiments show that HiCL enhances the prior top-performing SNCSE model across
seven extensively evaluated STS tasks, with an average increase of +0.2%
observed on BERT-large and +0.44% on RoBERTa-large.
- Abstract(参考訳): 本稿では,局所セグメントレベルとグローバルシーケンスレベルの関係を考慮した階層型コントラスト学習フレームワークHiCLを提案する。
伝統的な方法は通常、他の方法と対照的に配列全体をエンコードし、しばしば局所表現学習を無視し、短いテキストに一般化することの難題に繋がる。
逆に、HiCLは、シーケンスを複数のセグメントに分割し、セグメントレベルとシーケンスレベルの関係をモデル化するために、局所的および大域的コントラスト学習を採用することにより、その効率を向上させる。
さらに、入力トークン上の変換器の二次時間複雑性を考慮すると、HiCLはまず短いセグメントを符号化し、次にそれらを集約してシーケンス表現を得る訓練効率を高める。
広範囲に評価されたSTSの7つのタスクにおいて、HiCLは以前のトップパフォーマンスのSNCSEモデルを強化し、BERT-largeでは平均+0.2%、RoBERTa-largeでは+0.44%の増加を示した。
関連論文リスト
- SSLCL: An Efficient Model-Agnostic Supervised Contrastive Learning
Framework for Emotion Recognition in Conversations [20.856739541819056]
会話における感情認識(ERC)は、自然言語処理コミュニティの中で急速に進化している課題である。
We propose a efficient and model-agnostic SCL framework named Supervised Sample-Label Contrastive Learning with Soft-HGR Maximal correlation (SSLCL)。
浅い多層パーセプトロンを通して、離散ラベルを密度の高い埋め込みに投影することで、ラベル表現を活用する新しい視点を導入する。
論文 参考訳(メタデータ) (2023-10-25T14:41:14Z) - Generalized Few-Shot Continual Learning with Contrastive Mixture of
Adapters [59.82088750033897]
我々は,クラスおよびドメインインクリメンタルな状況を含む汎用FSCL (GFSCL) プロトコルを構築した。
一般的な連続学習手法は、目に見えない領域に一般化能力が乏しいことが判明した。
このようにして、視覚変換器(ViT)に基づくリハーサルフリーフレームワークであるContrastive Mixture of Adapters(CMoA)を提案する。
論文 参考訳(メタデータ) (2023-02-12T15:18:14Z) - C2F-TCN: A Framework for Semi and Fully Supervised Temporal Action
Segmentation [20.182928938110923]
時間的アクションセグメンテーションタグは、シーケンス内の複数のアクションを含む入力未トリミングビデオの各フレームに対するアクションラベルである。
我々は,デコーダ出力の粗大なアンサンブルを特徴とする,C2F-TCNというエンコーダ-デコーダスタイルのアーキテクチャを提案する。
アーキテクチャは教師付き学習と表現学習の両方に柔軟であることを示す。
論文 参考訳(メタデータ) (2022-12-20T14:53:46Z) - MHCCL: Masked Hierarchical Cluster-Wise Contrastive Learning for
Multivariate Time Series [20.008535430484475]
Masked Hierarchical Cluster-wise Contrastive Learning modelを示す。
時系列の複数の潜在パーティションからなる階層構造から得られる意味情報を利用する。
教師なし時系列表現学習における最先端の手法よりも優れていることが示されている。
論文 参考訳(メタデータ) (2022-12-02T12:42:53Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - Enhancing Sequential Recommendation with Graph Contrastive Learning [64.05023449355036]
本稿では、逐次推薦のためのグラフコントラスト学習(GCL4SR)という、新しいシーケンシャルレコメンデーションフレームワークを提案する。
GCL4SRは、すべてのユーザのインタラクションシーケンスに基づいて構築された重み付きアイテム遷移グラフ(WITG)を使用して、各インタラクションのグローバルなコンテキスト情報を提供し、シーケンスデータのノイズ情報を弱める。
実世界のデータセットの実験では、GCL4SRは最先端のシーケンシャルレコメンデーションメソッドよりも一貫して優れていることが示されている。
論文 参考訳(メタデータ) (2022-05-30T03:53:31Z) - Fine-grained Temporal Contrastive Learning for Weakly-supervised
Temporal Action Localization [87.47977407022492]
本稿では,シーケンス・ツー・シーケンスの区別を文脈的に比較することで学習が,弱い教師付き行動の局所化に不可欠な帰納的バイアスをもたらすことを論じる。
微分可能な動的プログラミングの定式化の下では、FSD(Fen-fine Sequence Distance)とLCS(Longest Common Subsequence)の2つの相補的コントラストが設計されている。
提案手法は,2つのベンチマークにおいて最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-03-31T05:13:50Z) - HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly
Supervised Relation Extraction [24.853265244512954]
雑音の少ない文を抽出するための階層的コントラスト学習フレームワーク (HiCLRE) を提案する。
具体的には,3段階の階層型学習フレームワークを提案する。
実験により、HiCLREは様々なメインストリームDSREデータセットにおいて、強いベースラインを著しく上回っていることが示された。
論文 参考訳(メタデータ) (2022-02-27T12:48:26Z) - HS3: Learning with Proper Task Complexity in Hierarchically Supervised
Semantic Segmentation [81.87943324048756]
本稿では,タスクの複雑さによって意味のある表現を学習するためのセグメンテーションネットワークの中間層を監督するトレーニングスキームである階層的意味論(Hierarchically Supervised Semantic,HS3)を提案する。
提案するHS3-Fuseフレームワークはセグメンテーション予測をさらに改善し、2つの大きなセグメンテーションベンチマークであるNYUD-v2とCityscapesで最先端の結果を得る。
論文 参考訳(メタデータ) (2021-11-03T16:33:29Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳(メタデータ) (2021-06-03T14:59:59Z) - Self-supervised Document Clustering Based on BERT with Data Augment [1.0152838128195467]
テキストクラスタリングのための教師なしデータ拡張(UDA)を用いた,自己教師付きコントラスト学習(SCL)と,少数ショットのコントラスト学習(FCL)を提案する。
SCLは、いくつかのクラスタリング評価尺度において、短いテキストと長いテキストに対して、最先端の教師なしクラスタリングアプローチより優れている。
FCLは教師付き学習に近い性能を達成し、UDAによるFCLは短文のパフォーマンスをさらに向上する。
論文 参考訳(メタデータ) (2020-11-17T09:18:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。