論文の概要: reCSE: Portable Reshaping Features for Sentence Embedding in Self-supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2408.04975v4
• Date: Mon, 26 Aug 2024 07:48:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 20:40:24.166402
• Title: reCSE: Portable Reshaping Features for Sentence Embedding in Self-supervised Contrastive Learning
• Title（参考訳）: reCSE: 自己教師型コントラスト学習における文埋め込みのための可搬型変換機能
• Authors: Fufangchen Zhao, Jian Gao, Danfeng Yan,
• Abstract要約: 特徴再構成に基づく自己教師付きコントラスト学習文表現フレームワークreCSEを提案する。 このフレームワークは、離散データ拡張メソッドを使用する現在の高度なモデルとは異なる。 我々のreCSEはセマンティック類似性タスクにおける競合性能を達成した。
• 参考スコア（独自算出の注目度）: 1.4604134018640291
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose reCSE, a self supervised contrastive learning sentence representation framework based on feature reshaping. This framework is different from the current advanced models that use discrete data augmentation methods, but instead reshapes the input features of the original sentence, aggregates the global information of each token in the sentence, and alleviates the common problems of representation polarity and GPU memory consumption linear increase in current advanced models. In addition, our reCSE has achieved competitive performance in semantic similarity tasks. And the experiment proves that our proposed feature reshaping method has strong universality, which can be transplanted to other self supervised contrastive learning frameworks and enhance their representation ability, even achieving state-of-the-art performance. Our code is available at https://github.com/heavenhellchen/reCSE.
• Abstract（参考訳）: 特徴再構成に基づく自己教師付きコントラスト学習文表現フレームワークreCSEを提案する。 このフレームワークは、離散データ拡張手法を使用する現在の先進モデルとは異なるが、代わりに元の文の入力特徴を再評価し、文中の各トークンのグローバル情報を集約し、現在の先進モデルにおける表現極性やGPUメモリ消費の線形増加に関する一般的な問題を緩和する。 さらに,我々のreCSEはセマンティック類似性タスクにおける競合性能を達成している。 また,提案手法は,他の自己指導型コントラスト学習フレームワークに移植し,その表現能力を向上し,最先端の性能を達成できるような,強力な普遍性を有することを示す。 私たちのコードはhttps://github.com/heavenhellchen/reCSEで公開されています。

関連論文リスト

• ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
  我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。 固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。 提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
  論文  参考訳（メタデータ） (2024-05-15T13:22:39Z)
• Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
  既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。 提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。 本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
  論文  参考訳（メタデータ） (2024-03-03T15:53:48Z)
• Gramian Attention Heads are Strong yet Efficient Vision Learners [26.79263390835444]
  複数のヘッダ分類器(e, classification head)を組み込むことで表現性を向上する新しいアーキテクチャ設計を提案する。 本手法では,資源オーバーヘッドを最小に抑えつつ,複数の軽量ヘッドを強化するために,一対の特徴的類似性を利用したアグリゲーションを用いる。 われわれのモデルは最終的に、ImageNet-1Kの精度の細かいトレードオフに関して、最先端のCNNやViTを上回ることになる。
  論文  参考訳（メタデータ） (2023-10-25T09:08:58Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Rank-N-Contrast: Learning Continuous Representations for Regression [28.926518084216607]
  Rank-N-Contrast(RNC)は、ターゲット空間のランクに基づいて、サンプルを互いに対比することで、回帰の連続的な表現を学習するフレームワークである。 RNCは、学習された表現の望ましい順序を目標命令に従って保証する。 RNCは最先端のパフォーマンスを達成し、データ効率の向上、ターゲットの刺激に対する堅牢性、データの破損など、興味深い特性を強調している。
  論文  参考訳（メタデータ） (2022-10-03T19:00:38Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• Learning Aligned Cross-Modal Representation for Generalized Zero-Shot Classification [17.177622259867515]
  一般化ゼロショット分類(GZSC)のためのアラインド・クロスモーダル表現(adigned Cross-Modal Representations, ACMR)の学習による革新的オートエンコーダネットワークを提案する。 具体的には,学習型分類器によって導かれる潜在部分空間上でのクロスモーダルな潜在特徴のアライメントを強化するために,新しい視覚・セマンティックアライメント(VSA)法を提案する。 さらに,潜伏変数の識別能力を高めるとともに,潜伏変数が崩壊する可能性を低減するための新しい情報拡張モジュール (IEM) を提案する。
  論文  参考訳（メタデータ） (2021-12-24T03:35:37Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。