Fugu-MT 論文翻訳(概要): Non-contrastive sentence representations via self-supervision

論文の概要: Non-contrastive sentence representations via self-supervision

arxiv url: http://arxiv.org/abs/2310.17690v1
Date: Thu, 26 Oct 2023 18:00:00 GMT
ステータス: 処理完了
システム内更新日: 2023-10-30 16:15:02.973321
Title: Non-contrastive sentence representations via self-supervision
Title（参考訳）: 自己超越による非競合文表現
Authors: Marco Farina and Duccio Pappadopulo
Abstract要約: コンピュータビジョンのコミュニティでは、異なる種類の自己監督的損失関数とメソッドが考慮され、次元は対照的である。次元の対照的な目的を用いて訓練された自己教師あり埋め込みは、補助損失関数を必要とせず、下流タスクにおいてSimCSEより優れていることが判明した。
参考スコア（独自算出の注目度）: 0.18130068086063336
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sample contrastive methods, typically referred to simply as contrastive are the foundation of most unsupervised methods to learn text and sentence embeddings. On the other hand, a different class of self-supervised loss functions and methods have been considered in the computer vision community and referred to as dimension contrastive. In this paper, we thoroughly compare this class of methods with the standard baseline for contrastive sentence embeddings, SimCSE. We find that self-supervised embeddings trained using dimension contrastive objectives can outperform SimCSE on downstream tasks without needing auxiliary loss functions.
Abstract（参考訳）: サンプルコントラスト法(英: Sample contrastive method、典型的には単にコントラスト法と呼ばれる)は、テキストと文の埋め込みを学習するほとんど教師なしの方法の基礎である。一方、コンピュータビジョンコミュニティでは、異なるタイプの自己監督的損失関数や手法が検討されており、次元を対照的に捉えている。本稿では,この手法をコントラスト文埋め込みの標準ベースラインであるSimCSEと徹底的に比較する。次元の対比目的を用いて訓練された自己教師付き埋め込みは、補助損失関数を必要とせずに下流タスクのsimcseを上回ることができる。

関連論文リスト

DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
論文参考訳（メタデータ） (2024-01-24T17:48:45Z)
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE [13.494159547236425]
本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
論文参考訳（メタデータ） (2023-10-10T18:15:24Z)
Multi-Similarity Contrastive Learning [4.297070083645049]
本稿では,複数の類似度指標の監視を共同で活用することにより,一般化可能な埋め込みを学習する新しいマルチ相似コントラスト損失(MSCon)を提案する。本手法は, 類似度の不確実性に基づいて, 比較類似度重み付けを自動的に学習する。我々は、MSConでトレーニングされたネットワークが、ドメイン内およびドメイン外設定で最先端のベースラインより優れていることを実証的に示す。
論文参考訳（メタデータ） (2023-07-06T01:26:01Z)
Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文参考訳（メタデータ） (2022-05-23T17:38:30Z)
Unsupervised Voice-Face Representation Learning by Cross-Modal Prototype Contrast [34.58856143210749]
同一性ラベルを使わずに,音声映像から音声表現を学習する手法を提案する。これまでの研究では、音声と顔の相関を確立するために、クロスモーダルなインスタンス識別タスクが用いられてきた。比較手法を生かし, 偽陰性の悪影響に抵抗し, 正の逸脱に抵抗するクロスモーダル・プロトタイプ・コントラッシブ・ラーニング(CMPC)を提案する。
論文参考訳（メタデータ） (2022-04-28T07:28:56Z)
Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
論文参考訳（メタデータ） (2022-02-28T18:59:20Z)
Contrastive Learning of Visual-Semantic Embeddings [4.7464518249313805]
本稿では,正規化されたクロスエントロピーに基づく2つの損失関数を提案する。本研究は,画像・テキスト・テキスト・画像検索タスクにおける既存のビジュアル・セマンティックな埋め込み手法と比較する。
論文参考訳（メタデータ） (2021-10-17T17:28:04Z)
Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文参考訳（メタデータ） (2021-09-22T10:47:51Z)
Transductive Learning for Unsupervised Text Style Transfer [60.65782243927698]
教師なしスタイル転送モデルは、主に帰納的学習アプローチに基づいている。本稿では,検索に基づく文脈認識スタイルの表現に基づく新しいトランスダクティブ学習手法を提案する。
論文参考訳（メタデータ） (2021-09-16T08:57:20Z)
On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文参考訳（メタデータ） (2020-10-24T04:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。