論文の概要: 2D Matryoshka Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2402.14776v1
• Date: Thu, 22 Feb 2024 18:35:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 14:03:31.805939
• Title: 2D Matryoshka Sentence Embeddings
• Title（参考訳）: 2次元matryoshka文埋め込み
• Authors: Xianming Li, Zongxi Li, Jing Li, Haoran Xie, Qing Li
• Abstract要約: Matryoshka Representation Learning (MRL) は、より粒度の細かい情報を符号化する。 2次元マトリルシュカ文埋め込み(2DMSE)と呼ばれる新しい文埋め込みモデルを導入する。 埋め込みサイズとトランスフォーマー層の両方の弾性設定をサポートし、MRLよりも柔軟性と効率性が高い。
• 参考スコア（独自算出の注目度）: 12.533676078879155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Common approaches rely on fixed-length embedding vectors from language models as sentence embeddings for downstream tasks such as semantic textual similarity (STS). Such methods are limited in their flexibility due to unknown computational constraints and budgets across various applications. Matryoshka Representation Learning (MRL) (Kusupati et al., 2022) encodes information at finer granularities, i.e., with lower embedding dimensions, to adaptively accommodate ad hoc tasks. Similar accuracy can be achieved with a smaller embedding size, leading to speedups in downstream tasks. Despite its improved efficiency, MRL still requires traversing all Transformer layers before obtaining the embedding, which remains the dominant factor in time and memory consumption. This prompts consideration of whether the fixed number of Transformer layers affects representation quality and whether using intermediate layers for sentence representation is feasible. In this paper, we introduce a novel sentence embedding model called Two-dimensional Matryoshka Sentence Embedding (2DMSE). It supports elastic settings for both embedding sizes and Transformer layers, offering greater flexibility and efficiency than MRL. We conduct extensive experiments on STS tasks and downstream applications. The experimental results demonstrate the effectiveness of our proposed model in dynamically supporting different embedding sizes and Transformer layers, allowing it to be highly adaptable to various scenarios.
• Abstract（参考訳）: 一般的なアプローチは、セマンティックテキスト類似性(STS)のような下流タスクの文埋め込みとして、言語モデルからの固定長埋め込みベクトルに依存する。 このような手法は、様々なアプリケーションにまたがる未知の計算制約や予算のために、柔軟性に制限がある。 Matryoshka Representation Learning (MRL) (Kusupati et al., 2022) は、より粒度の細かい情報を符号化する。 同様の精度は、埋め込みサイズを小さくすることで達成でき、下流タスクのスピードアップにつながる。 改善された効率にもかかわらず、MRLは組み込みを得る前にトランスフォーマーのすべての層をトラバースする必要がある。 これにより、一定数のトランスフォーマー層が表現品質に影響を及ぼすか、文表現のための中間層の使用が実現可能であるかが考慮される。 本稿では, 2次元matryoshka文埋め込み (2dmse) と呼ばれる新しい文埋め込みモデルを提案する。 埋め込みサイズとトランスフォーマー層の両方の弾性設定をサポートし、MRLよりも柔軟性と効率性が高い。 STSタスクと下流アプリケーションに関する広範な実験を行います。 実験により,提案モデルの有効性を実証し,異なる組込みサイズとトランスフォーマー層を動的にサポートすることにより,様々なシナリオに高い適応性が期待できることを示した。

関連論文リスト

• Streamlining Redundant Layers to Compress Large Language Models [21.27944103424621]
  本稿では,LLM-Streamlineについて紹介する。 異なる層が隠れた状態に様々な影響を与えるという観察に基づいており、重要でない層を識別することができる。 実験により, LLM-Streamlineは, 性能および訓練効率の両面において, 先行および同時のプルーニング法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-28T04:12:13Z)
• ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
  本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。 本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。 本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T18:16:06Z)
• TranSFormer: Slow-Fast Transformer for Machine Translation [52.12212173775029]
  本稿では,TrantextbfSFormerと呼ばれる2ストリーム学習モデルを提案する。 我々のTranSFormerは、複数の機械翻訳ベンチマークにおいて、BLEUの一貫性のある改善(BLEU点よりも大きい)を示す。
  論文  参考訳（メタデータ） (2023-05-26T14:37:38Z)
• Towards A Unified View of Sparse Feed-Forward Network in Pretraining Large Language Model [58.9100867327305]
  大規模かつスパースなフィードフォワード層(S-FFN)は、大きな言語モデルをテキスト処理するためにTransformersモデルのサイズをスケールアップするのに有効であることが証明されている。 我々は,S-FFNの2つの主要な設計選択,すなわち,メモリブロックのサイズとメモリブロックの選択方法について分析した。 言語モデルの事前学習において,より単純な選択方法である textbftextttAvg-K が得られた。
  論文  参考訳（メタデータ） (2023-05-23T12:28:37Z)
• Efficient Long Sequence Modeling via State Space Augmented Transformer [92.74707853711374]
  我々はSPADE($underlinetextbfS$tate sunderlinetextbfP$ace)を提案する。 我々は,SPADEの底層にSSMを付加し,他の層に対して効率的な局所的注意法を適用した。 Long Range Arenaベンチマークと言語モデリングタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-15T20:51:27Z)
• A multi-model-based deep learning framework for short text multiclass classification with the imbalanced and extremely small data set [0.6875312133832077]
  本稿では,不均衡かつ極めて小さなデータセットを持つ短文マルチクラス分類のための,マルチモデルに基づくディープラーニングフレームワークを提案する。 精度、リコール、精度、F1スコアの点で最先端のベースライン性能を維持している。
  論文  参考訳（メタデータ） (2022-06-24T00:51:02Z)
• Learning Effective and Efficient Embedding via an Adaptively-Masked Twins-based Layer [15.403616481651383]
  本稿では,標準埋め込み層の背後に適応型ツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツ AMTLは、埋め込みベクトルごとに望ましくない次元をマスクするマスクベクトルを生成する。 マスクベクトルは次元の選択に柔軟性をもたらし、提案した層は訓練されていないDLRMや訓練されていないDLRMに簡単に追加できる。
  論文  参考訳（メタデータ） (2021-08-24T11:50:49Z)
• Layer Reduction: Accelerating Conformer-Based Self-Supervised Model via Layer Consistency [31.572652956170252]
  トランスフォーマーをベースとした自己教師型モデルは特徴抽出器として訓練され、多くの下流音声タスクで最先端のパフォーマンスを実現している。 従来のBERT法と同等の性能を維持しつつ、7.8Xパラメータの削減、41.9%のトレーニングスピードアップ、37.7%の推論スピードアップを実験的に達成した。
  論文  参考訳（メタデータ） (2021-04-08T08:21:59Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search [84.94597821711808]
  我々は,PoWER-BERT(Goyal et al., 2020)を拡張し,一発訓練後に様々な推論シナリオに使用できる長適応変換器を提案する。 我々は,任意の計算予算の下で,精度を最大化し,効率の指標を最小化する長さ構成を求めるために,多目的進化探索を行う。 提案手法の有効性を実証的に検証し,各種設定下での精度・効率のトレードオフを実証する。
  論文  参考訳（メタデータ） (2020-10-14T12:28:08Z)
• All Word Embeddings from One Embedding [23.643059189673473]
  自然言語処理のためのニューラルネットワークベースのモデルでは、パラメータの最大の部分は単語の埋め込みで構成されていることが多い。 本研究では,パラメータの総数を削減するために,すべての単語に対する埋め込みを共有埋め込みを変換することによって表現する。 提案手法であるALONEは,単語固有のが学習不能なフィルタベクトルを用いて,単語の埋め込みを改良し,単語の埋め込みを構築する。
  論文  参考訳（メタデータ） (2020-04-25T07:38:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。