論文の概要: miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2211.04928v1
• Date: Wed, 9 Nov 2022 14:57:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 16:11:11.191659
• Title: miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
• Title（参考訳）: miCSE:低ショット文埋め込みのための相互情報コントラスト学習
• Authors: Tassilo Klein and Moin Nabi
• Abstract要約: miCSEは相互情報に基づくコントラスト学習フレームワークである。 提案されたアプローチは概念的にはシンプルで、実装と最適化が簡単だが、実証的に強力である。
• 参考スコア（独自算出の注目度）: 26.68818542540867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents miCSE, a mutual information-based Contrastive learning framework that significantly advances the state-of-the-art in few-shot sentence embedding. The proposed approach imposes alignment between the attention pattern of different views during contrastive learning. Learning sentence embeddings with miCSE entails enforcing the syntactic consistency across augmented views for every single sentence, making contrastive self-supervised learning more sample efficient. As a result, the proposed approach shows strong performance in the few-shot learning domain. While it achieves superior results compared to state-of-the-art methods on multiple benchmarks in few-shot learning, it is comparable in the full-shot scenario. The proposed approach is conceptually simple, easy to implement and optimize, yet empirically powerful. This study opens up avenues for efficient self-supervised learning methods that are more robust than current contrastive methods for sentence embedding.
• Abstract（参考訳）: 本稿では,相互情報に基づくコントラスト学習フレームワークであるmiCSEについて述べる。 提案手法は,コントラスト学習における異なる視点の注意パターンの整合性を示す。 miCSEによる学習文の埋め込みは、各文に対する拡張ビュー間の統語的一貫性を強制し、対照的な自己教師型学習をより効率的にする。 その結果,提案手法は,単発学習領域において高い性能を示す。 数ショットの学習では、複数のベンチマークの最先端メソッドと比較して優れた結果が得られるが、フルショットのシナリオでは同等である。 提案されたアプローチは概念的にはシンプルで、実装も最適化も容易ですが、経験的に強力です。 本研究は,従来の文埋め込み法よりも頑健な,効率的な自己指導型学習手法の道を開くものである。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• SCD: Self-Contrastive Decorrelation for Sentence Embeddings [26.68818542540867]
  SCD(Self-Contrastive Deorrelation)は、自己コントラストとデコレーションの目的を最適化するための自己教師型アプローチである。 対照的なペアを使わずに、複数のベンチマークで最先端の手法で同等の結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T13:02:10Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• A Survey on Contrastive Self-supervised Learning [0.0]
  自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。 コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。 本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
  論文  参考訳（メタデータ） (2020-10-31T21:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。