論文の概要: Sparse Contrastive Learning of Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2311.03881v1
• Date: Tue, 7 Nov 2023 10:54:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:01:36.523427
• Title: Sparse Contrastive Learning of Sentence Embeddings
• Title（参考訳）: 文章埋め込みのスパースコントラスト学習
• Authors: Ruize An, Chen Zhang, Dawei Song
• Abstract要約: SimCSEは、訓練文埋め込みにおけるコントラスト学習の可能性を示した。 従来の研究では、密度の高いモデルには、モデルの性能に影響を与える有害なパラメータが含まれていることが示されている。 文埋め込みの全体的な品質に対する各パラメータの寄与を測定するために,アライメントと均一度スコアを用いるパラメータスペーシフィケーションを提案する。
• 参考スコア（独自算出の注目度）: 10.251604958122506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, SimCSE has shown the feasibility of contrastive learning in training sentence embeddings and illustrates its expressiveness in spanning an aligned and uniform embedding space. However, prior studies have shown that dense models could contain harmful parameters that affect the model performance, and it is no wonder that SimCSE can as well be invented with such parameters. Driven by this, parameter sparsification is applied, where alignment and uniformity scores are used to measure the contribution of each parameter to the overall quality of sentence embeddings. Drawing from a preliminary study, we consider parameters with minimal contributions to be detrimental, as their sparsification results in improved model performance. To discuss the ubiquity of detrimental parameters and remove them, more experiments on the standard semantic textual similarity (STS) tasks and transfer learning tasks are conducted, and the results show that the proposed sparsified SimCSE (SparseCSE) has excellent performance in comparison with SimCSE. Furthermore, through in-depth analysis, we establish the validity and stability of our sparsification method, showcasing that the embedding space generated by SparseCSE exhibits improved alignment compared to that produced by SimCSE. Importantly, the uniformity yet remains uncompromised.
• Abstract（参考訳）: 近年、SimCSEは、文章の埋め込みにおけるコントラスト学習の実現可能性を示し、その表現性は、整列と均一な埋め込み空間にまたがることを示す。 しかし、従来の研究では、高密度モデルにはモデル性能に影響を与える有害なパラメータが含まれていることが示されており、そのようなパラメータでSimCSEが発明されるのも不思議ではない。 これによりパラメータスパーシフィケーションが適用され、各パラメータの文埋め込みの全体的な品質への寄与を測定するためにアライメントと一様性スコアが使用される。 予備研究から, 最小の寄与率を持つパラメータは, モデル性能の向上につながるため, 有害であると考えられる。 乱用パラメータのユビキタス性について議論し,それらを除去するために,標準意味テキスト類似性(sts)タスクと転送学習タスクに関する実験を行い,提案手法がsparsified simcse(sparsecse)と比較して優れた性能を持つことを示す。 さらに,本手法の有効性と安定性を確認し,sparsecseが生成する埋め込み空間はsimcseが生成するようなアライメントが向上することを示した。 重要な点として、統一性はまだ未妥協のままである。

関連論文リスト

• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
  本稿では、革新的な回帰フレームワークを提案し、2つの単純かつ効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 本手法は,7つのSTSベンチマーク,特にタスク固有のトレーニングデータを補足した場合に,説得力のある性能を実現する。
  論文  参考訳（メタデータ） (2024-06-08T02:52:43Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE [13.494159547236425]
  本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。 提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
  論文  参考訳（メタデータ） (2023-10-10T18:15:24Z)
• Dynamically Scaled Temperature in Self-Supervised Contrastive Learning [11.133502139934437]
  本稿では,コサインの類似性に依存した温度スケーリング機能を提案することで,自己教師型学習におけるInfoNCE損失の性能向上に着目する。 実験的な証拠は、提案フレームワークが損失ベースのSSLアルゴリズムよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-02T13:31:41Z)
• Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations [6.265789210037749]
  コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。 また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-07-20T15:02:42Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。