Fugu-MT 論文翻訳(概要): ESCL: Equivariant Self-Contrastive Learning for Sentence Representations

論文の概要: ESCL: Equivariant Self-Contrastive Learning for Sentence Representations

arxiv url: http://arxiv.org/abs/2303.05143v1
Date: Thu, 9 Mar 2023 09:52:28 GMT
ステータス: 処理完了
システム内更新日: 2023-03-10 15:27:46.087079
Title: ESCL: Equivariant Self-Contrastive Learning for Sentence Representations
Title（参考訳）: ESCL: 文表現のための等価自己コントラスト学習
Authors: Jie Liu, Yixuan Liu, Xue Han, Chao Deng, Junlan Feng
Abstract要約: 感性変換をフル活用するために,同変自己比較学習(ESCL)手法を提案する。提案手法は,従来の手法に比べて学習パラメータを少なくしながら,より良い結果が得られる。
参考スコア（独自算出の注目度）: 16.601370864663213
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Previous contrastive learning methods for sentence representations often focus on insensitive transformations to produce positive pairs, but neglect the role of sensitive transformations that are harmful to semantic representations. Therefore, we propose an Equivariant Self-Contrastive Learning (ESCL) method to make full use of sensitive transformations, which encourages the learned representations to be sensitive to certain types of transformations with an additional equivariant learning task. Meanwhile, in order to improve practicability and generality, ESCL simplifies the implementations of traditional equivariant contrastive methods to share model parameters from the perspective of multi-task learning. We evaluate our ESCL on semantic textual similarity tasks. The proposed method achieves better results while using fewer learning parameters compared to previous methods.
Abstract（参考訳）: 文表現に対する従来のコントラスト学習法は、しばしば正のペアを生成するために不感な変換に焦点を当てるが、意味表現に有害なセンシティブな変換の役割を無視する。そこで,本研究では,等価な学習タスクを付加することで,学習表現が特定の種類の変換に敏感になるように促す,敏感な変換をフルに活用する同変自己共生学習(escl)手法を提案する。一方、実用性と汎用性を改善するために、esclは、マルチタスク学習の観点からモデルパラメータを共有する伝統的な同変コントラストメソッドの実装を単純化する。意味的テキスト類似性タスクのesclを評価する。提案手法は,従来の手法に比べて学習パラメータを少なくしつつ,より良い結果が得られる。

関連論文リスト

Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
論文参考訳（メタデータ） (2024-07-05T14:29:44Z)
Contrastive Learning Via Equivariant Representation [19.112460889771423]
等価学習のための新しいコントラスト学習フレームワークCLeVER(Contrastive Learning Via Equivariant Representation)を提案する。実験の結果,CLeVERはデータから同変情報を効果的に抽出し,組み込むことで,下流タスクにおけるベースラインモデルのトレーニング効率とロバスト性を向上させることができた。
論文参考訳（メタデータ） (2024-06-01T01:53:51Z)
Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
論文参考訳（メタデータ） (2023-03-08T08:11:26Z)
Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文参考訳（メタデータ） (2022-07-02T10:00:35Z)
Transformation Coding: Simple Objectives for Equivariant Representations [17.544323284367927]
簡単な目的を通した均質な深層埋め込みを求める深層表現学習への非生成的アプローチを提案する。既存の同変ネットワークとは対照的に、我々の変換符号化アプローチはフィードフォワード層やアーキテクチャの選択を制約しない。
論文参考訳（メタデータ） (2022-02-19T01:43:13Z)
Equivariant Contrastive Learning [20.369942206674576]
最先端の自己教師型学習(SSL)では、事前学習は意味的に良い表現を生成する。私たちは人気のあるSSLメソッドを、Equivariant Self-Supervised Learning (E-SSL)という名前のより一般的なフレームワークに拡張します。いくつかのコンピュータビジョンベンチマークにおいて,E-SSLの有効性を実証的に示す。
論文参考訳（メタデータ） (2021-10-28T17:21:33Z)
Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
論文参考訳（メタデータ） (2021-04-11T03:32:49Z)
Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文参考訳（メタデータ） (2021-03-01T21:14:33Z)
Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文参考訳（メタデータ） (2020-10-22T20:45:10Z)
Improving Transformation Invariance in Contrastive Representation Learning [31.223892428863238]
本稿では、新しい正規化器を用いて変換下で表現がどのように変化するかを制御するコントラスト学習のための学習目標を提案する。第二に、元の入力の複数の変換からのエンコーディングを結合した機能平均化アプローチを導入することにより、テスト時間表現の生成方法を変更することを提案する。第三に、複数の下流タスクを持つ微分可能生成プロセスの文脈において、私たちのアイデアを探求するために、新しいSpirographデータセットを導入します。
論文参考訳（メタデータ） (2020-10-19T13:49:29Z)
On Compositions of Transformations in Contrastive Self-Supervised Learning [66.15514035861048]
本稿では,コントラスト学習をより広範な変換集合に一般化する。特定の変換に不変であり、他の変換に特有であることは、効果的なビデオ表現の学習に不可欠である。
論文参考訳（メタデータ） (2020-03-09T17:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。