論文の概要: Review of compressed embedding layers and their applications for
recommender systems
- arxiv url: http://arxiv.org/abs/2306.13724v2
- Date: Mon, 13 Nov 2023 23:58:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 18:53:31.481508
- Title: Review of compressed embedding layers and their applications for
recommender systems
- Title(参考訳): 圧縮埋め込み層のレビューとレコメンダシステムへの応用
- Authors: Tamas Hajgato
- Abstract要約: 本稿では, トレーニング可能な, 圧縮された埋め込み層に関する文献をレビューし, 巨大ニューラルレコメンダシステムへの適用性について論じる。
圧縮埋込層を用いて測定した結果について報告する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We review the literature on trainable, compressed embedding layers and
discuss their applicability for compressing gigantic neural recommender
systems. We also report the results we measured with our compressed embedding
layers.
- Abstract(参考訳): 本稿では,学習可能な圧縮埋め込み層に関する文献を概観し,巨大ニューラルネットワークリコメンデータシステムへの適用性について考察する。
また,圧縮埋め込み層を用いて測定した結果を報告する。
関連論文リスト
- Perception Compressor:A training-free prompt compression method in long context scenarios [17.720102137585503]
パーセプション(Perception)は、大規模言語モデルのトレーニング不要なプロンプト圧縮手法である。
既存のメソッドのマージンを大きく上回り、最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-09-28T07:13:33Z) - More Effective LLM Compressed Tokens with Uniformly Spread Position Identifiers and Compression Loss [51.05017281146084]
圧縮トークンの位置識別子の選択について検討し,新しい圧縮損失を提案する。
提案手法は, ICAEの4倍に比べて, 圧縮比が有意に高いことを実証的に実証した。
論文 参考訳(メタデータ) (2024-09-22T08:51:18Z) - Embedding Compression in Recommender Systems: A Survey [44.949824174769]
本稿では,ディープラーニングレコメンデーションモデルと,レコメンデーションシステムへの埋め込み圧縮の基本概念を紹介する。
既存のアプローチを,低精度,混合次元,重量共有という3つのカテゴリに体系的に分類する。
論文 参考訳(メタデータ) (2024-08-05T08:30:16Z) - Retaining Key Information under High Compression Ratios: Query-Guided Compressor for LLMs [35.91962517513945]
圧縮比が増加するにつれて従来の手法の性能は劇的に低下し、時にはクローズドブックレベルにまで低下する。
本稿では、クエリを利用してコンテキスト圧縮プロセスをガイドするQuery-Guided (QGC)を紹介する。
提案したQGCの有効性を,NaturalQuestions,TriviaQA,HotpotQAデータセットを含む質問応答タスクで検証する。
論文 参考訳(メタデータ) (2024-06-04T14:53:24Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳(メタデータ) (2022-09-28T15:16:58Z) - Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。
提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
論文 参考訳(メタデータ) (2022-04-26T01:35:02Z) - Compressing Neural Networks: Towards Determining the Optimal Layer-wise
Decomposition [62.41259783906452]
本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。
各層を自動的に解析し、最適な層間圧縮比を特定する。
我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
論文 参考訳(メタデータ) (2021-07-23T20:01:30Z) - On Geodesic Distances and Contextual Embedding Compression for Text
Classification [0.0]
メモリ制限のある設定では、より小さなコンテキスト埋め込みを持つことが有利である。
コンテクスト埋め込みデータを多様体に投影し、非線形次元還元技術を用いてこれらの埋め込みを圧縮する効果を検討する。
特に,isomapとpcaの組み合わせを適用した新しい後処理手法を提案する。
論文 参考訳(メタデータ) (2021-04-22T19:30:06Z) - Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。
高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
論文 参考訳(メタデータ) (2020-11-17T20:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。