論文の概要: Semantic Compression for Word and Sentence Embeddings using Discrete Wavelet Transform

• arxiv url: http://arxiv.org/abs/2508.00220v1
• Date: Thu, 31 Jul 2025 23:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.692361
• Title: Semantic Compression for Word and Sentence Embeddings using Discrete Wavelet Transform
• Title（参考訳）: 離散ウェーブレット変換を用いた単語・文埋め込みのセマンティック圧縮
• Authors: Rana Aref Salama, Abdou Youssef, Mona Diab,
• Abstract要約: 単語と文の埋め込みに対する離散ウェーブレット変換(DWT)の応用を実証的に活用する。 以上の結果から,DWTは意味的類似性タスクの性能をほとんど変更することなく,埋め込みの次元を50～93%削減できることがわかった。
• 参考スコア（独自算出の注目度）: 11.234696109974255
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Wavelet transforms, a powerful mathematical tool, have been widely used in different domains, including Signal and Image processing, to unravel intricate patterns, enhance data representation, and extract meaningful features from data. Tangible results from their application suggest that Wavelet transforms can be applied to NLP capturing a variety of linguistic and semantic properties. In this paper, we empirically leverage the application of Discrete Wavelet Transforms (DWT) to word and sentence embeddings. We aim to showcase the capabilities of DWT in analyzing embedding representations at different levels of resolution and compressing them while maintaining their overall quality. We assess the effectiveness of DWT embeddings on semantic similarity tasks to show how DWT can be used to consolidate important semantic information in an embedding vector. We show the efficacy of the proposed paradigm using different embedding models, including large language models, on downstream tasks. Our results show that DWT can reduce the dimensionality of embeddings by 50-93% with almost no change in performance for semantic similarity tasks, while achieving superior accuracy in most downstream tasks. Our findings pave the way for applying DWT to improve NLP applications.
• Abstract（参考訳）: 強力な数学的ツールであるウェーブレット変換は、複雑なパターンを解き明かし、データ表現を強化し、データから意味のある特徴を抽出するために、信号や画像処理など、さまざまな領域で広く使われている。 彼らの応用による有形な結果は、ウェーブレット変換が様々な言語的および意味的性質をキャプチャするNLPに適用可能であることを示唆している。 本稿では,単語と文の埋め込みに対する離散ウェーブレット変換(DWT)の適用を実証的に活用する。 本研究の目的は,DWTが様々な解像度の埋め込み表現を解析し,その全体的な品質を維持しながら圧縮する能力を示すことである。 意味的類似性タスクに対するDWT埋め込みの有効性を評価し, 埋め込みベクトルにおける重要な意味情報の統合にどのようにDWTを使用できるかを示す。 下流タスクにおいて,大規模言語モデルを含む様々な埋め込みモデルを用いて提案手法の有効性を示す。 以上の結果から,DWTは,意味的類似性タスクの性能がほとんど変化することなく,組込みの寸法を50～93%削減できると同時に,下流タスクの精度も向上できることが示唆された。 本研究は,NLPアプリケーションを改善するためにDWTを適用する方法である。

関連論文リスト

• Combining Discrete Wavelet and Cosine Transforms for Efficient Sentence Embedding [11.234696109974255]
  我々は、単語と文の埋め込みに離散ウェーブレット変換(DWT)を適用する力を利用する。 ダウンストリームアプリケーションモデルにおける提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2025-08-01T08:17:41Z)
• Learnable Multi-Scale Wavelet Transformer: A Novel Alternative to Self-Attention [0.0]
  Learnable Multi-Scale Wavelet Transformer (LMWT) は、標準的なドット生成の自己アテンションを置き換える新しいアーキテクチャである。 本稿では,学習可能なHaarウェーブレットモジュールの詳細な数学的定式化とトランスフォーマーフレームワークへの統合について述べる。 この結果から,LMWTは計算上の優位性を保ちながら,競争性能を向上することが示された。
  論文  参考訳（メタデータ） (2025-04-08T22:16:54Z)
• Img-Diff: Contrastive Data Synthesis for Multimodal Large Language Models [49.439311430360284]
  コントラスト学習と画像差分キャプションにインスパイアされた新しいデータ合成手法を提案する。 私たちのキーとなるアイデアは、マッチングと異なる要素の両方を識別するためにモデルに挑戦することです。 我々は、この生成されたデータセットを利用して、最先端(SOTA)MLLMを微調整する。
  論文  参考訳（メタデータ） (2024-08-08T17:10:16Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking [0.5242869847419834]
  情報エントロピーを低減するために動的ビジュアルセマンティックサブエンベッドディングフレームワーク(DVSE)を提案する。 生成した候補埋め込みに様々な意味的変動を捉えるよう促すため,混合分布を構築した。 3つのベンチマークデータセット上の4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いて,既存のセットベース手法と比較した。
  論文  参考訳（メタデータ） (2023-09-15T04:39:11Z)
• Distribution-Aware Prompt Tuning for Vision-Language Models [20.02599087680773]
  プロンプトチューニングの鍵は、モデルパラメータを固定した学習可能なベクトルを介して、2つのモード間の特徴空間アライメントである。 この観測に触発されて、視覚言語モデルのための分布認識プロンプトチューニング(DAPT)を提案する。 11のベンチマークデータセットに対する実験により,本手法が一般化可能性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-09-06T23:49:11Z)
• ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer [71.82644727907146]
  多様な双方向の高密度予測タスクに対して,$underlineComP$lementary $underlinetr$ansformer, $textbfComPtr$を提案する。 ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
  論文  参考訳（メタデータ） (2023-07-23T15:17:45Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Semantic Image Synthesis via Diffusion Models [174.24523061460704]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。 意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Exploring Dimensionality Reduction Techniques in Multilingual Transformers [64.78260098263489]
  本稿では,多言語シームス変圧器の性能に及ぼす次元還元法の影響を包括的に考察する。 これは、それぞれ91.58% pm 2.59%$と54.65% pm 32.20%$の次元を平均で減少させることが可能であることを示している。
  論文  参考訳（メタデータ） (2022-04-18T17:20:55Z)
• Task-guided Disentangled Tuning for Pretrained Language Models [16.429787408467703]
  本稿では,事前学習型言語モデル(PLM)のためのタスク誘導型ディスタングル型チューニング(TDT)を提案する。 TDTは、タスク関連信号を絡み合った表現から切り離すことにより、表現の一般化を強化する。 GLUE と CLUE のベンチマークによる実験結果から,TDT は異なる PLM を用いた微調整よりも一貫した結果が得られた。
  論文  参考訳（メタデータ） (2022-03-22T03:11:39Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。