論文の概要: On the Dimensionality of Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2310.15285v1
• Date: Mon, 23 Oct 2023 18:51:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 22:12:27.679867
• Title: On the Dimensionality of Sentence Embeddings
• Title（参考訳）: 文埋め込みの次元性について
• Authors: Hongwei Wang, Hongming Zhang, Dong Yu
• Abstract要約: 文埋め込みの最適次元は通常、デフォルト値よりも小さいことを示す。 文表現学習モデルの2段階学習法を提案し、エンコーダとプーラを個別に最適化することにより、全体的な性能損失を軽減する。
• 参考スコア（独自算出の注目度）: 56.86742006079451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning sentence embeddings is a fundamental problem in natural language processing. While existing research primarily focuses on enhancing the quality of sentence embeddings, the exploration of sentence embedding dimensions is limited. Here we present a comprehensive and empirical analysis of the dimensionality of sentence embeddings. First, we demonstrate that the optimal dimension of sentence embeddings is usually smaller than the default value. Subsequently, to compress the dimension of sentence embeddings with minimum performance degradation, we identify two components contributing to the overall performance loss: the encoder's performance loss and the pooler's performance loss. Therefore, we propose a two-step training method for sentence representation learning models, wherein the encoder and the pooler are optimized separately to mitigate the overall performance loss in low-dimension scenarios. Experimental results on seven STS tasks and seven sentence classification tasks demonstrate that our method significantly improves the performance of low-dimensional sentence embeddings.
• Abstract（参考訳）: 文埋め込みの学習は自然言語処理の基本的な問題である。 既存の研究は主に文埋め込みの品質向上に焦点を当てているが、文埋め込み次元の探索は限られている。 本稿では,文埋め込みの次元性に関する包括的かつ実証的な解析を行う。 まず、文埋め込みの最適次元が通常デフォルト値よりも小さいことを示す。 次に、文埋め込みの次元を最小性能劣化で圧縮するために、エンコーダのパフォーマンス損失とプーラーのパフォーマンス損失という、全体的なパフォーマンス損失に寄与する2つのコンポーネントを特定した。 そこで本研究では,低次元シナリオにおける全体的な性能損失を軽減するために,エンコーダとプーラを別々に最適化した文表現学習モデルの2段階学習法を提案する。 7つのSTSタスクと7つの文分類タスクの実験結果から,本手法は低次元文埋め込みの性能を著しく向上させることが示された。

関連論文リスト

• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
  本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。 これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-06-08T02:52:43Z)
• Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings [28.35953315232521]
  プレトレーニング言語モデル(PLM)による文の埋め込みは、NLPコミュニティから広く注目を集めている。 PLMによって生成された文の埋め込みの高次元性は、メモリや計算制約のあるデバイスで大量の文を表現する場合に問題となる。 本研究では, PLM による文埋め込みの次元化を図るために, 教師なしの次元化手法の評価を行った。
  論文  参考訳（メタデータ） (2024-03-20T21:58:32Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Empirical Evaluation of Pre-trained Transformers for Human-Level NLP: The Role of Sample Size and Dimensionality [6.540382797747107]
  RoBERTaは一貫して人間レベルのタスクで最高のパフォーマンスを達成し、PCAはより長いテキストを書くユーザーをよりよく処理する他の削減方法よりも利益をもたらします。 タスクの大部分は、埋め込み寸法の$frac112$で最高のパフォーマンスに匹敵する結果を達成します。
  論文  参考訳（メタデータ） (2021-05-07T20:06:24Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)
• Structured Consistency Loss for semi-supervised semantic segmentation [1.4146420810689415]
  整合性喪失は、半教師付き学習の最近の研究において、問題解決において重要な役割を担っている。 本稿では,既存の研究の限界に対処する構造的整合損失を提案する。 我々は,セマンティックセグメンテーションにおける最先端の半教師あり学習の優位性を初めて提示する。
  論文  参考訳（メタデータ） (2020-01-14T07:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。