論文の概要: Exploring RWKV for Sentence Embeddings: Layer-wise Analysis and Baseline Comparison for Semantic Similarity

• arxiv url: http://arxiv.org/abs/2502.14620v1
• Date: Thu, 20 Feb 2025 14:58:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:45.264477
• Title: Exploring RWKV for Sentence Embeddings: Layer-wise Analysis and Baseline Comparison for Semantic Similarity
• Title（参考訳）: 文埋め込みのためのRWKV探索:意味的類似性の層解析とベースライン比較
• Authors: Xinghan Pan,
• Abstract要約: 本稿では, ゼロショット環境における文埋め込み生成におけるRWKVの有効性について検討する。 事前学習したRWKVモデルの異なる隠蔽層からの埋め込みによって得られた意味的類似性を評価する。 以上の結果から,RWKV埋め込みは意味的関連性を捉えるが,スピアマン相関の点ではGloVeベースラインよりも性能が低いことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper investigates the efficacy of RWKV, a novel language model architecture known for its linear attention mechanism, for generating sentence embeddings in a zero-shot setting. I conduct a layer-wise analysis to evaluate the semantic similarity captured by embeddings from different hidden layers of a pre-trained RWKV model. The performance is assessed on the Microsoft Research Paraphrase Corpus (MRPC) dataset using Spearman correlation and compared against a GloVe-based baseline. My results indicate that while RWKV embeddings capture some semantic relatedness, they underperform compared to the GloVe baseline in terms of Spearman correlation. I also analyze the inference time and GPU memory usage, highlighting the computational trade-offs associated with RWKV embeddings. The findings suggest that while RWKV offers potential advantages in terms of linear scaling, its zero-shot sentence embedding quality for semantic similarity tasks requires further investigation and potential task-specific fine-tuning to match or exceed simpler baselines.
• Abstract（参考訳）: 本稿では,その線形アテンション機構で知られた新しい言語モデルアーキテクチャであるRWKVの有効性について検討する。 事前学習したRWKVモデルの異なる隠蔽層からの埋め込みによって得られた意味的類似性を評価する。 この性能は、Spearman相関を用いてMicrosoft Research Paraphrase Corpus(MRPC)データセットで評価され、GloVeベースのベースラインと比較される。 以上の結果から,RWKV埋め込みは意味的関連性を捉えるが,スピアマン相関の点ではGloVeベースラインよりも性能が低いことが示唆された。 また、RWKV埋め込みに関連する計算トレードオフを強調して、推論時間とGPUメモリ使用量を分析します。 その結果、RWKVは線形スケーリングの面で潜在的に有利であるが、意味的類似性タスクに対するゼロショット文の埋め込み品質は、より単純なベースラインに適合または超えるよう、さらなる調査とタスク固有の微調整を必要とすることが示唆された。

関連論文リスト

• Canonical Correlation Guided Deep Neural Network [14.188285111418516]
  深層ニューラルネットワーク(CCDNN)により実現可能な標準相関学習フレームワークを提案する。 提案手法では、最適化の定式化は相関を最大化するために制限されず、代わりに正規相関を制約として行う。 相関による冗長性を低減するために、冗長性フィルタを設計する。
  論文  参考訳（メタデータ） (2024-09-28T16:08:44Z)
• Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
  変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。 本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。 提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
  論文  参考訳（メタデータ） (2023-11-13T19:22:37Z)
• Latent Feature Relation Consistency for Adversarial Robustness [80.24334635105829]
  深層ニューラルネットワークは、人間の知覚できない敵のノイズを自然の例に付加する敵の例を予測するときに、誤分類が起こる。 textbfLatent textbfFeature textbfRelation textbfConsistency (textbfLFRC)を提案する。 LFRCは、潜在空間における逆例の関係を、自然例と整合性に制約する。
  論文  参考訳（メタデータ） (2023-03-29T13:50:01Z)
• Exploiting the Relationship Between Kendall's Rank Correlation and Cosine Similarity for Attribution Protection [21.341303776931532]
  まず、期待されるケンドールのランク相関がコサイン類似性と正に相関していることを示し、帰属方向が帰属ロバスト性の鍵であることを示す。 解析の結果,IGRは自然試料とそれに対応する摂動標本に対して,同じ活性化状態のニューロンを刺激することが明らかとなった。
  論文  参考訳（メタデータ） (2022-05-15T13:08:50Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [60.80849503639896]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)
• Interpretable Research Replication Prediction via Variational Contextual Consistency Sentence Masking [14.50690911709558]
  研究レプリケーション予測(Research Replication Prediction、RRP)は、公表された研究結果が複製可能かどうかを予測するタスクである。 本研究では,キー文を自動的に抽出するVCCSM法を提案する。 欧州人権条約 (ECHR) のデータセットとともに, RRP に関する実験の結果, VCCSM は長い文書分類作業において, モデル解釈可能性を向上させることができることを示した。
  論文  参考訳（メタデータ） (2022-03-28T03:27:13Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Locality Constrained Analysis Dictionary Learning via K-SVD Algorithm [6.162666237389167]
  合成K-SVDアルゴリズム(SK-LADL)を用いた新しい局所性制約分析辞書学習モデルを提案する。 画像データの幾何学的構造を明らかにするためにグラフ正規化を課すことにより、本質的な幾何学的性質を考察する。 学習した解析辞書を通して、画像は多様体の仮定をさらに保証できる新しいコンパクトな空間に変換される。
  論文  参考訳（メタデータ） (2021-04-29T05:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。