Fugu-MT 論文翻訳(概要): SCD: Self-Contrastive Decorrelation for Sentence Embeddings

論文の概要: SCD: Self-Contrastive Decorrelation for Sentence Embeddings

arxiv url: http://arxiv.org/abs/2203.07847v1
Date: Tue, 15 Mar 2022 13:02:10 GMT
ステータス: 処理完了
システム内更新日: 2022-03-16 13:04:09.493278
Title: SCD: Self-Contrastive Decorrelation for Sentence Embeddings
Title（参考訳）: SCD: 文の自己矛盾的デコレーション
Authors: Tassilo Klein, Moin Nabi
Abstract要約: SCD(Self-Contrastive Deorrelation)は、自己コントラストとデコレーションの目的を最適化するための自己教師型アプローチである。対照的なペアを使わずに、複数のベンチマークで最先端の手法で同等の結果を得る。
参考スコア（独自算出の注目度）: 26.68818542540867
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose Self-Contrastive Decorrelation (SCD), a self-supervised approach. Given an input sentence, it optimizes a joint self-contrastive and decorrelation objective. Learning a representation is facilitated by leveraging the contrast arising from the instantiation of standard dropout at different rates. The proposed method is conceptually simple yet empirically powerful. It achieves comparable results with state-of-the-art methods on multiple benchmarks without using contrastive pairs. This study opens up avenues for efficient self-supervised learning methods that are more robust than current contrastive methods.
Abstract（参考訳）: 本稿では,自己管理型アプローチである自己コントラスト劣化(SCD)を提案する。入力文が与えられると、自己矛盾的および非相関的目標を最適化する。異なるレートで標準ドロップアウトのインスタンス化に起因するコントラストを活用することにより、表現の学習を容易にする。提案手法は概念的には単純だが経験的に強力である。コントラストペアを使用せずに、複数のベンチマークで最先端のメソッドと同等の結果が得られる。本研究は,現在のコントラスト法よりも頑健な,効率的な自己教師付き学習手法への道を開くものである。

関連論文リスト

CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
論文参考訳（メタデータ） (2024-04-22T11:52:40Z)
DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
論文参考訳（メタデータ） (2024-01-24T17:48:45Z)
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings [26.68818542540867]
miCSEは相互情報に基づくコントラスト学習フレームワークである。これは、数発の文の埋め込みにおいて最先端の技術を著しく向上させる。
論文参考訳（メタデータ） (2022-11-09T14:57:37Z)
Differentiable Data Augmentation for Contrastive Sentence Representation Learning [6.398022050054328]
提案手法は, 半教師付き設定と教師付き設定の両方において, 既存手法よりも大幅に改善されている。また,低ラベルデータ設定による実験により,本手法は最先端のコントラスト学習法よりもラベル効率が高いことが示された。
論文参考訳（メタデータ） (2022-10-29T08:57:45Z)
Non-contrastive representation learning for intervals from well logs [58.70164460091879]
石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。可能なアプローチの1つは、自己教師付き学習(SSL)である。私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
論文参考訳（メタデータ） (2022-09-28T13:27:10Z)
Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文参考訳（メタデータ） (2022-03-25T05:36:26Z)
A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文参考訳（メタデータ） (2021-08-05T15:58:25Z)
Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文参考訳（メタデータ） (2021-05-11T03:38:16Z)
Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
論文参考訳（メタデータ） (2021-04-11T03:32:49Z)
An end-to-end approach for the verification problem: learning the right distance [15.553424028461885]
パラメトリックな擬似距離を導入し、エンコーダと共同で学習することで、メトリック学習の設定を強化する。まず、仮説テストに使用できる確率比を近似して示す。提案手法では,実際の距離を持つメートル法学習に比べて,学習の簡易化が図られている。
論文参考訳（メタデータ） (2020-02-21T18:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。