論文の概要: TNCSE: Tensor's Norm Constraints for Unsupervised Contrastive Learning of Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2503.12739v1
• Date: Mon, 17 Mar 2025 02:14:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:36:05.219396
• Title: TNCSE: Tensor's Norm Constraints for Unsupervised Contrastive Learning of Sentence Embeddings
• Title（参考訳）: TNCSE:意味埋め込みの教師なしコントラスト学習のためのテンソルのノルム制約
• Authors: Tianyu Zong, Bingkang Shi, Hongzhu Yi, Jungang Xu,
• Abstract要約: 本稿では,新しい文埋め込み表現フレームワーク TNCSE を提案する。 我々は,7つの意味的テキスト類似性タスクを評価し,TNCSEと派生モデルが現在最先端のアプローチであることを示す。
• 参考スコア（独自算出の注目度）: 4.62170384991303
• License:
• Abstract: Unsupervised sentence embedding representation has become a hot research topic in natural language processing. As a tensor, sentence embedding has two critical properties: direction and norm. Existing works have been limited to constraining only the orientation of the samples' representations while ignoring the features of their module lengths. To address this issue, we propose a new training objective that optimizes the training of unsupervised contrastive learning by constraining the module length features between positive samples. We combine the training objective of Tensor's Norm Constraints with ensemble learning to propose a new Sentence Embedding representation framework, TNCSE. We evaluate seven semantic text similarity tasks, and the results show that TNCSE and derived models are the current state-of-the-art approach; in addition, we conduct extensive zero-shot evaluations, and the results show that TNCSE outperforms other baselines.
• Abstract（参考訳）: 非教師なし文の埋め込み表現は、自然言語処理におけるホットな研究トピックとなっている。 テンソルとして、文の埋め込みには方向とノルムという2つの重要な性質がある。 既存の作業は、モジュール長の特徴を無視しながら、サンプルの表現の向きのみを制約することに限定されている。 そこで本研究では,モジュール長の特徴を正のサンプル間で制限することにより,教師なしのコントラスト学習の学習を最適化する新たな学習目標を提案する。 我々は,テンソルのノルム制約の学習目標とアンサンブル学習を組み合わせて,新たなセンテンス埋め込み表現フレームワークであるTNCSEを提案する。 我々は,7つの意味的テキスト類似性タスクを評価し,その結果から,TNCSEと派生モデルが現在最先端のアプローチであること,さらに広範にゼロショット評価を行い,TNCSEが他のベースラインよりも優れていることを示す。

関連論文リスト

• Tuning-Free Personalized Alignment via Trial-Error-Explain In-Context Learning [74.56097953187994]
  本稿では,テキスト生成タスクのための言語モデルをパーソナライズするチューニング不要な手法であるTrial-Error-Explain In-Context Learning(TICL)を提案する。 TICLは、試行錯誤説明プロセスを通じて、文脈内学習プロンプトを反復的に拡張し、モデル生成陰性サンプルと説明を追加する。 TICLは従来の最先端技術に対して最大91.5%を達成し、パーソナライズされたアライメントタスクのための競争的なチューニング不要のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-02-13T05:20:21Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Supporting Context Monotonicity Abstractions in Neural NLI Models [2.624902795082451]
  特定の NLI 問題では、包含ラベルは文脈の単調性と置換概念間の関係にのみ依存する。 抽象単位としての文脈処理を記述した、健全で簡略化された単調性論理形式論を紹介します。 フォーマリズムにおける概念を用いて、ターゲットとするチャレンジセットを適応させ、中間コンテキストのモノトニック性分類タスクがNLIモデルのパフォーマンスを補助するかどうかを検討する。
  論文  参考訳（メタデータ） (2021-05-17T16:43:43Z)
• SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
  本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。 まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。 次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
  論文  参考訳（メタデータ） (2021-04-18T11:27:08Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation [37.054709598792165]
  このモデルは畳み込みニューラルネットワークであり、生波形上で直接動作する。 ノイズコントラスト推定原理を用いて信号のスペクトル変化を同定する。 テスト時には、モデル出力にピーク検出アルゴリズムを適用して最終境界を生成する。
  論文  参考訳（メタデータ） (2020-07-27T12:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。