論文の概要: Combining Discrete Wavelet and Cosine Transforms for Efficient Sentence Embedding

• arxiv url: http://arxiv.org/abs/2508.00420v1
• Date: Fri, 01 Aug 2025 08:17:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.796404
• Title: Combining Discrete Wavelet and Cosine Transforms for Efficient Sentence Embedding
• Title（参考訳）: 離散ウェーブレットとコサイン変換を組み合わせた効率的な文の埋め込み
• Authors: Rana Salama, Abdou Youssef, Mona Diab,
• Abstract要約: 我々は、単語と文の埋め込みに離散ウェーブレット変換(DWT)を適用する力を利用する。 ダウンストリームアプリケーションモデルにおける提案手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 11.234696109974255
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Wavelets have emerged as a cutting edge technology in a number of fields. Concrete results of their application in Image and Signal processing suggest that wavelets can be effectively applied to Natural Language Processing (NLP) tasks that capture a variety of linguistic properties. In this paper, we leverage the power of applying Discrete Wavelet Transforms (DWT) to word and sentence embeddings. We first evaluate, intrinsically and extrinsically, how wavelets can effectively be used to consolidate important information in a word vector while reducing its dimensionality. We further combine DWT with Discrete Cosine Transform (DCT) to propose a non-parameterized model that compresses a sentence with a dense amount of information in a fixed size vector based on locally varying word features. We show the efficacy of the proposed paradigm on downstream applications models yielding comparable and even superior (in some tasks) results to original embeddings.
• Abstract（参考訳）: ウェーブレットは多くの分野において最先端技術として登場した。 画像および信号処理におけるウェーブレットの具体的な適用結果は、様々な言語特性を捉える自然言語処理(NLP)タスクに、ウェーブレットを効果的に適用できることを示唆している。 本稿では、単語と文の埋め込みに離散ウェーブレット変換(DWT)を適用する力を利用する。 我々はまず,ウェーブレットが単語ベクトルにおける重要な情報を効果的に統合し,その次元を小さくする方法について,本質的および外在的に評価した。 さらに、DWTと離散コサイン変換(DCT)を組み合わせ、局所的に変化する単語特徴に基づく固定サイズのベクトルにおいて、文を大量の情報で圧縮する非パラメータ化モデルを提案する。 ダウンストリームアプリケーションモデルにおける提案手法の有効性を示す。

関連論文リスト

• Semantic Compression for Word and Sentence Embeddings using Discrete Wavelet Transform [11.234696109974255]
  単語と文の埋め込みに対する離散ウェーブレット変換(DWT)の応用を実証的に活用する。 以上の結果から,DWTは意味的類似性タスクの性能をほとんど変更することなく,埋め込みの次元を50～93%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-07-31T23:46:40Z)
• Parameter-Efficient Transformer Embeddings [0.0]
  本稿では,トークンの埋め込みベクトルをトークンIDから直接決定的に生成する手法を提案する。 自然言語推論タスクで標準トランスフォーマーとアーキテクチャをトレーニングします。 提案手法は, パラメータをはるかに少なくし, 高速かつ効果的に動作し, ドロップアウトを必要とせずに性能を向上することを示した。
  論文  参考訳（メタデータ） (2025-05-04T21:47:18Z)
• Learnable Multi-Scale Wavelet Transformer: A Novel Alternative to Self-Attention [0.0]
  Learnable Multi-Scale Wavelet Transformer (LMWT) は、標準的なドット生成の自己アテンションを置き換える新しいアーキテクチャである。 本稿では,学習可能なHaarウェーブレットモジュールの詳細な数学的定式化とトランスフォーマーフレームワークへの統合について述べる。 この結果から,LMWTは計算上の優位性を保ちながら,競争性能を向上することが示された。
  論文  参考訳（メタデータ） (2025-04-08T22:16:54Z)
• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• An Analysis on Quantizing Diffusion Transformers [19.520194468481655]
  ポストトレーニング量子化(PTQ)は、より小さなストレージサイズと推論時のメモリ効率の高い計算に対する即時対策を提供する。 低ビット量子化のために,アクティベーションの単一ステップサンプリング校正と重みのグループワイド量子化を提案する。
  論文  参考訳（メタデータ） (2024-06-16T23:18:35Z)
• Speech Audio Synthesis from Tagged MRI and Non-Negative Matrix Factorization via Plastic Transformer [11.91784203088159]
  重み付けマップを対応する音声波形に変換するためのエンドツーエンドのディープラーニングフレームワークを開発する。 我々のフレームワークは、重み付けマップから音声音声波形を合成することができ、従来の畳み込みモデルやトランスフォーマーモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-09-26T00:21:17Z)
• Wave-ViT: Unifying Wavelet and Transformers for Visual Representation Learning [138.29273453811945]
  マルチスケールビジョントランス (ViT) はコンピュータビジョンタスクの強力なバックボーンとして登場した。 本稿では,ウェーブレット変換と自己注意学習を用いて,可逆的なダウンサンプリングを定式化する新しいウェーブレットビジョン変換器(textbfWave-ViT)を提案する。
  論文  参考訳（メタデータ） (2022-07-11T16:03:51Z)
• Single-channel speech separation using Soft-minimum Permutation Invariant Training [60.99112031408449]
  教師付き音声分離における長寿命問題は、それぞれの分離された音声信号の正しいラベルを見つけることである。 Permutation Invariant Training (PIT) はラベルあいまいさ問題に対処する上で有望な解決策であることが示されている。 そこで本研究では,PITの不効率に対処する確率的最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-16T17:25:05Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。