論文の概要: Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2403.14001v1
• Date: Wed, 20 Mar 2024 21:58:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 17:59:26.194890
• Title: Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings
• Title（参考訳）: 事前学習文埋め込みにおける教師なし次元性低減手法の評価
• Authors: Gaifan Zhang, Yi Zhou, Danushka Bollegala,
• Abstract要約: プレトレーニング言語モデル(PLM)による文の埋め込みは、NLPコミュニティから広く注目を集めている。 PLMによって生成された文の埋め込みの高次元性は、メモリや計算制約のあるデバイスで大量の文を表現する場合に問題となる。 本研究では, PLM による文埋め込みの次元化を図るために, 教師なしの次元化手法の評価を行った。
• 参考スコア（独自算出の注目度）: 28.35953315232521
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentence embeddings produced by Pretrained Language Models (PLMs) have received wide attention from the NLP community due to their superior performance when representing texts in numerous downstream applications. However, the high dimensionality of the sentence embeddings produced by PLMs is problematic when representing large numbers of sentences in memory- or compute-constrained devices. As a solution, we evaluate unsupervised dimensionality reduction methods to reduce the dimensionality of sentence embeddings produced by PLMs. Our experimental results show that simple methods such as Principal Component Analysis (PCA) can reduce the dimensionality of sentence embeddings by almost $50\%$, without incurring a significant loss in performance in multiple downstream tasks. Surprisingly, reducing the dimensionality further improves performance over the original high-dimensional versions for the sentence embeddings produced by some PLMs in some tasks.
• Abstract（参考訳）: Pretrained Language Models (PLMs) が生成する文の埋め込みは、多くの下流アプリケーションでテキストを表現する際の優れた性能のために、NLPコミュニティから広く注目を集めている。 しかし, PLMが生成する文埋め込みの高次元性は, メモリや計算に制約のあるデバイスで大量の文を表現する場合に問題となる。 そこで本研究では, PLM による文埋め込みの次元化を図るため, 教師なしの次元化手法の評価を行った。 実験結果から,主成分分析(PCA)のような単純な手法は,複数の下流タスクにおいて性能が著しく低下することなく,文埋め込みの寸法を50 %程度削減できることがわかった。 意外なことに、あるタスクにおいて PLM によって生成された文の埋め込みに対する元の高次元バージョンよりも、次元性の低減により性能が向上する。

関連論文リスト

• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• On the Dimensionality of Sentence Embeddings [56.86742006079451]
  文埋め込みの最適次元は通常、デフォルト値よりも小さいことを示す。 文表現学習モデルの2段階学習法を提案し、エンコーダとプーラを個別に最適化することにより、全体的な性能損失を軽減する。
  論文  参考訳（メタデータ） (2023-10-23T18:51:00Z)
• ZADU: A Python Library for Evaluating the Reliability of Dimensionality Reduction Embeddings [11.08175113417855]
  DR技術は入力された高次元データの元の構造を本質的に歪ませ、不完全な低次元埋め込みを生成する。 歪み測定を行い,DR埋め込みの包括的評価を可能にするPythonライブラリZADUを提案する。 ZADUを応用したZADUVisでは,埋め込みの各領域が歪みに悩まされているかを示す歪み可視化を簡単に作成することができる。
  論文  参考訳（メタデータ） (2023-08-01T04:38:15Z)
• Low-Rank Prune-And-Factorize for Language Model Compression [18.088550230146247]
  マトリックスの分解は、中程度から高い圧縮速度で良好な性能を維持することができない。 スパシティ対応SVDとミックスランクファインチューニングの2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-06-25T07:38:43Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Exploring Dimensionality Reduction Techniques in Multilingual Transformers [64.78260098263489]
  本稿では,多言語シームス変圧器の性能に及ぼす次元還元法の影響を包括的に考察する。 これは、それぞれ91.58% pm 2.59%$と54.65% pm 32.20%$の次元を平均で減少させることが可能であることを示している。
  論文  参考訳（メタデータ） (2022-04-18T17:20:55Z)
• Empirical Evaluation of Pre-trained Transformers for Human-Level NLP: The Role of Sample Size and Dimensionality [6.540382797747107]
  RoBERTaは一貫して人間レベルのタスクで最高のパフォーマンスを達成し、PCAはより長いテキストを書くユーザーをよりよく処理する他の削減方法よりも利益をもたらします。 タスクの大部分は、埋め込み寸法の$frac112$で最高のパフォーマンスに匹敵する結果を達成します。
  論文  参考訳（メタデータ） (2021-05-07T20:06:24Z)
• LSDAT: Low-Rank and Sparse Decomposition for Decision-based Adversarial Attack [74.5144793386864]
  LSDATは、入力サンプルのスパース成分と対向サンプルのスパース成分によって形成される低次元部分空間における摂動を加工する。 LSDは画像ピクセル領域で直接動作し、スパース性などの非$ell$制約が満たされることを保証します。
  論文  参考訳（メタデータ） (2021-03-19T13:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。