論文の概要: On the Dimensionality of Sentence Embeddings
- arxiv url: http://arxiv.org/abs/2310.15285v1
- Date: Mon, 23 Oct 2023 18:51:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 22:12:27.679867
- Title: On the Dimensionality of Sentence Embeddings
- Title(参考訳): 文埋め込みの次元性について
- Authors: Hongwei Wang, Hongming Zhang, Dong Yu
- Abstract要約: 文埋め込みの最適次元は通常、デフォルト値よりも小さいことを示す。
文表現学習モデルの2段階学習法を提案し、エンコーダとプーラを個別に最適化することにより、全体的な性能損失を軽減する。
- 参考スコア(独自算出の注目度): 56.86742006079451
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning sentence embeddings is a fundamental problem in natural language
processing. While existing research primarily focuses on enhancing the quality
of sentence embeddings, the exploration of sentence embedding dimensions is
limited. Here we present a comprehensive and empirical analysis of the
dimensionality of sentence embeddings. First, we demonstrate that the optimal
dimension of sentence embeddings is usually smaller than the default value.
Subsequently, to compress the dimension of sentence embeddings with minimum
performance degradation, we identify two components contributing to the overall
performance loss: the encoder's performance loss and the pooler's performance
loss. Therefore, we propose a two-step training method for sentence
representation learning models, wherein the encoder and the pooler are
optimized separately to mitigate the overall performance loss in low-dimension
scenarios. Experimental results on seven STS tasks and seven sentence
classification tasks demonstrate that our method significantly improves the
performance of low-dimensional sentence embeddings.
- Abstract(参考訳): 文埋め込みの学習は自然言語処理の基本的な問題である。
既存の研究は主に文埋め込みの品質向上に焦点を当てているが、文埋め込み次元の探索は限られている。
本稿では,文埋め込みの次元性に関する包括的かつ実証的な解析を行う。
まず、文埋め込みの最適次元が通常デフォルト値よりも小さいことを示す。
次に、文埋め込みの次元を最小性能劣化で圧縮するために、エンコーダのパフォーマンス損失とプーラーのパフォーマンス損失という、全体的なパフォーマンス損失に寄与する2つのコンポーネントを特定した。
そこで本研究では,低次元シナリオにおける全体的な性能損失を軽減するために,エンコーダとプーラを別々に最適化した文表現学習モデルの2段階学習法を提案する。
7つのSTSタスクと7つの文分類タスクの実験結果から,本手法は低次元文埋め込みの性能を著しく向上させることが示された。
関連論文リスト
- Gradient constrained sharpness-aware prompt learning for vision-language
models [99.74832984957025]
本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。
最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。
本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-09-14T17:13:54Z) - Enhancing Representation Learning on High-Dimensional, Small-Size
Tabular Data: A Divide and Conquer Method with Ensembled VAEs [7.923088041693465]
特徴空間の部分集合の後方部分集合を学習するための軽量なVAEのアンサンブルを, 新規な分割コンカレントアプローチで結合後部分集合に集約する。
このアプローチは推論時に部分的な機能に対して堅牢であることを示し、ほとんどの機能が欠落していても、パフォーマンスの劣化がほとんどないことを示します。
論文 参考訳(メタデータ) (2023-06-27T17:55:31Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳(メタデータ) (2023-03-30T03:22:52Z) - A survey of deep learning optimizers -- first and second order methods [0.5439020425819]
深層学習最適化は、サドル点、局所小数点、ヘッセンおよび限られた計算資源の不調和などの固有の困難により、しばしば困難であると見なされる重み空間における高次元損失関数の最小化を伴う。
論文 参考訳(メタデータ) (2022-11-28T17:50:14Z) - Block-Sparse Adversarial Attack to Fool Transformer-Based Text
Classifiers [49.50163349643615]
本稿では,変圧器を用いたテキスト分類器に対して,勾配に基づく逆攻撃を提案する。
実験結果から, 文の意味を抑えながら, GPT-2の精度を5%以下に抑えることができた。
論文 参考訳(メタデータ) (2022-03-11T14:37:41Z) - Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks [15.446698301777086]
コンピュータビジョンにおいて、表現学習における対照的な損失の利用が顕著になり、自然言語処理(NLP)において注目されている。
そこで本研究では,大規模事前学習型トランスフォーマーモデルにバッチ・ソフトマックス・コントラスト・ロスを付与し,タスク固有文の組込み性を学習する手法について検討する。
実験結果から, 分類, ランキング, 回帰など, 多数のデータセットと一対の文スコアリングタスクに対して, 大幅な改善が得られた。
論文 参考訳(メタデータ) (2021-10-10T16:43:44Z) - Empirical Evaluation of Pre-trained Transformers for Human-Level NLP:
The Role of Sample Size and Dimensionality [6.540382797747107]
RoBERTaは一貫して人間レベルのタスクで最高のパフォーマンスを達成し、PCAはより長いテキストを書くユーザーをよりよく処理する他の削減方法よりも利益をもたらします。
タスクの大部分は、埋め込み寸法の$frac112$で最高のパフォーマンスに匹敵する結果を達成します。
論文 参考訳(メタデータ) (2021-05-07T20:06:24Z) - Unsupervised low-rank representations for speech emotion recognition [78.38221758430244]
音声感情認識のための低ランク特徴表現の抽出に線形および非線形次元削減アルゴリズムを用いて検討する。
異なる分類法を用いて2つのデータベース上で学習した表現の音声認識(SER)結果を報告する。
論文 参考訳(メタデータ) (2021-04-14T18:30:58Z) - Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence
Lip-Reading [96.48553941812366]
唇読解は唇運動系列から音声内容を推測することを目的としている。
seq2seqモデルの伝統的な学習プロセスには2つの問題がある。
本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2020-03-09T09:12:26Z) - Structured Consistency Loss for semi-supervised semantic segmentation [1.4146420810689415]
整合性喪失は、半教師付き学習の最近の研究において、問題解決において重要な役割を担っている。
本稿では,既存の研究の限界に対処する構造的整合損失を提案する。
我々は,セマンティックセグメンテーションにおける最先端の半教師あり学習の優位性を初めて提示する。
論文 参考訳(メタデータ) (2020-01-14T07:08:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。