論文の概要: ImplicitSLIM and How it Improves Embedding-based Collaborative Filtering

• arxiv url: http://arxiv.org/abs/2406.00198v1
• Date: Fri, 31 May 2024 21:19:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 08:13:57.186765
• Title: ImplicitSLIM and How it Improves Embedding-based Collaborative Filtering
• Title（参考訳）: ImplicitSLIMと埋め込み型協調フィルタリングの改善
• Authors: Ilya Shenbin, Sergey Nikolenko,
• Abstract要約: ImplicitSLIMはスパース高次元データのための新しい教師なし学習手法である。 SLIMのようなモデルからの埋め込みを、計算的に安価でメモリ効率の良い方法で抽出することで、埋め込みベースのモデルを改善する。 我々は,ImplicitSLIMが性能を向上し,従来の協調フィルタリング手法と最先端のコンバージェンスを高速化することを示した。
• 参考スコア（独自算出の注目度）: 3.079311115297782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present ImplicitSLIM, a novel unsupervised learning approach for sparse high-dimensional data, with applications to collaborative filtering. Sparse linear methods (SLIM) and their variations show outstanding performance, but they are memory-intensive and hard to scale. ImplicitSLIM improves embedding-based models by extracting embeddings from SLIM-like models in a computationally cheap and memory-efficient way, without explicit learning of heavy SLIM-like models. We show that ImplicitSLIM improves performance and speeds up convergence for both state of the art and classical collaborative filtering methods. The source code for ImplicitSLIM, related models, and applications is available at https://github.com/ilya-shenbin/ImplicitSLIM.
• Abstract（参考訳）: IndicitSLIMはスパース高次元データのための新しい教師なし学習手法であり、協調フィルタリングへの応用がある。 スパース線形法(SLIM)とそのバリエーションは、優れた性能を示すが、それらはメモリ集約的でスケールが難しい。 ImplicitSLIMは、重いSLIMのようなモデルを明示的に学習することなく、SLIMのようなモデルからの埋め込みを計算的に安価でメモリ効率の良い方法で抽出することで、埋め込みベースのモデルを改善する。 我々は,ImplicitSLIMにより,最先端および古典的協調フィルタリング手法のコンバージェンスを向上し,高速化することを示す。 ImplicitSLIMのソースコード、関連するモデル、アプリケーションはhttps://github.com/ilya-shenbin/ImplicitSLIMで入手できる。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• SLIM: Spuriousness Mitigation with Minimal Human Annotations [24.863960194779875]
  深層学習における素早い相関を減らし,費用対効果と性能を目標としたSLIMを導入する。 複雑なトレーニング戦略よりもデータ品質を優先することにより、SLIMはより小さいがより機能バランスの取れたデータサブセットをキュレートし、スプリアスネス・ロバストモデルの開発を促進する。
  論文  参考訳（メタデータ） (2024-07-08T04:15:44Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Building Brain Tumor Segmentation Networks with User-Assisted Filter Estimation and Selection [42.62139206176152]
  複数のFLIM実行から最も関連性の高いフィルタを推定・選択するためのユーザ支援手法であるMulti-Step (MS) FLIMを提案する。 MS-FLIMは第1の畳み込み層にのみ使用され、既にFLIMよりも改善されていることを示している。 We build a simple U-shaped encoder-decoder network, named sU-Net, for glioblastoma segmentation using T1Gd and FLAIR MRI scans。
  論文  参考訳（メタデータ） (2024-03-19T14:11:26Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Spike-and-Slab Generalized Additive Models and Scalable Algorithms for High-Dimensional Data [0.0]
  本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。 曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。 2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
  論文  参考訳（メタデータ） (2021-10-27T14:11:13Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。