論文の概要: Exploring Applications of State Space Models and Advanced Training Techniques in Sequential Recommendations: A Comparative Study on Efficiency and Performance

• arxiv url: http://arxiv.org/abs/2408.05606v1
• Date: Sat, 10 Aug 2024 18:09:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 18:12:00.936717
• Title: Exploring Applications of State Space Models and Advanced Training Techniques in Sequential Recommendations: A Comparative Study on Efficiency and Performance
• Title（参考訳）: シークエンシャルレコメンデーションにおける状態空間モデルと高度なトレーニング手法の応用:効率と性能の比較研究
• Authors: Mark Obozov, Makar Baderko, Stepan Kulibaba, Nikolay Kutuzov, Alexander Gasnikov,
• Abstract要約: 本研究は, シーケンシャルレコメンデーションにおける3つの有望な方向性に焦点を当てる。 ひとつは、SSM(State Space Models)を使うことで、レイテンシ、メモリ、推論コストの低いシーケンシャルレコメンデーションドメインでSOTA結果を達成することができるように、スピードを向上することである。 2つ目は、LLM(Large Language Models)によるレコメンデーションの品質向上、参照モデルなしでのモノリシックな選好最適化(ORPO)、コスト削減とトレーニングプロセスの高速化を目的とした適応型バッチおよびステップサイズアルゴリズムの実装である。
• 参考スコア（独自算出の注目度）: 41.677784966514686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recommender systems aim to estimate the dynamically changing user preferences and sequential dependencies between historical user behaviour and metadata. Although transformer-based models have proven to be effective in sequential recommendations, their state growth is proportional to the length of the sequence that is being processed, which makes them expensive in terms of memory and inference costs. Our research focused on three promising directions in sequential recommendations: enhancing speed through the use of State Space Models (SSM), as they can achieve SOTA results in the sequential recommendations domain with lower latency, memory, and inference costs, as proposed by arXiv:2403.03900 improving the quality of recommendations with Large Language Models (LLMs) via Monolithic Preference Optimization without Reference Model (ORPO); and implementing adaptive batch- and step-size algorithms to reduce costs and accelerate training processes.
• Abstract（参考訳）: レコメンダシステムは、履歴ユーザの振る舞いとメタデータ間の動的に変化するユーザの好みとシーケンシャルな依存関係を推定することを目的としている。 トランスフォーマーベースのモデルはシーケンシャルレコメンデーションに有効であることが証明されているが、その状態成長は処理中のシーケンスの長さに比例し、メモリと推論コストの点で高価である。 本研究は,SSM (State Space Models) の利用による速度向上,SOTA による低レイテンシ,メモリ,推論コストの逐次レコメンデーションドメインの実現,および arXiv:2403.03900 によって提案された大規模言語モデル (LLMs) によるレコメンデーションの品質向上,参照モデルなしでのモノリシックな選好最適化 (ORPO) ,コストの削減とトレーニングプロセスの高速化を目的とした適応バッチおよびステップサイズアルゴリズムの実装,の3つの将来的な方向性に注目した。

関連論文リスト

• Towards Improved Preference Optimization Pipeline: from Data Generation to Budget-Controlled Regularization [14.50339880957898]
  我々は、嗜好データ生成と正規化の訓練技術について、より深く検討することで、嗜好最適化パイプラインの改善を目指している。 選好データ生成のために、ペアワイズ比較信号を用いて完了の選好ランキングを導出する反復的なペアワイズランキング機構を提案する。 正規化のトレーニングでは、LLMが好むサンプルの確率をわずかに減少させると、好みの最適化がよりよく収束する傾向が観察される。
  論文  参考訳（メタデータ） (2024-11-07T23:03:11Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• Sequential Recommendation via Adaptive Robust Attention with Multi-dimensional Embeddings [7.207685588038045]
  逐次レコメンデーションモデルは自己認識機構を用いて最先端のパフォーマンスを達成した。 アイテムIDと位置埋め込みのみの使用を超えて移動すると、次の項目を予測するときにかなりの精度が向上する。 モデルの頑健さと一般化を改善するため,レイヤワイドノイズインジェクション(LNI)正則化を用いたミックスアテンション機構を導入する。
  論文  参考訳（メタデータ） (2024-09-08T08:27:22Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• Behavior-Dependent Linear Recurrent Units for Efficient Sequential Recommendation [18.75561256311228]
  RecBLRは、振舞い依存リニアリカレントユニットに基づく効率的なシークエンシャルレコメンデーションモデルである。 本モデルは,ユーザの行動モデリングとレコメンデーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-06-18T13:06:58Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Edge-Efficient Deep Learning Models for Automatic Modulation Classification: A Performance Analysis [0.7428236410246183]
  無線信号の自動変調分類(AMC)のための最適化畳み込みニューラルネットワーク(CNN)について検討した。 本稿では,これらの手法を組み合わせて最適化モデルを提案する。 実験結果から,提案手法と組み合わせ最適化手法は,複雑度が著しく低いモデルの開発に極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-11T06:08:23Z)
• EASRec: Elastic Architecture Search for Efficient Long-term Sequential Recommender Systems [82.76483989905961]
  現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。 我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。 EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
  論文  参考訳（メタデータ） (2024-02-01T07:22:52Z)
• Fisher-Weighted Merge of Contrastive Learning Models in Sequential Recommendation [0.0]
  我々は、まず、フィッシャー・マージング法をシークエンシャル・レコメンデーションに適用し、それに関連する実践的な課題に対処し、解決する。 提案手法の有効性を実証し, シーケンシャルラーニングおよびレコメンデーションシステムにおける最先端化の可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-07-05T05:58:56Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。