論文の概要: Light distillation for Incremental Graph Convolution Collaborative Filtering

• arxiv url: http://arxiv.org/abs/2505.19810v1
• Date: Mon, 26 May 2025 10:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.365649
• Title: Light distillation for Incremental Graph Convolution Collaborative Filtering
• Title（参考訳）: 増分グラフ畳み込み協調フィルタリングのための光蒸留
• Authors: X Fan, F Mo, C Chen, H Yamana,
• Abstract要約: 本稿では, 歴史的相互作用から直接, 利用者の嗜好スコアを抽出する軽度嗜好駆動蒸留法を提案する。 提案手法は,既存の手法と比較して1.5倍から9.5倍のトレーニング時間を節約し,微細チューニング法からRecall@20を5.41%,10.64%改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recommender systems presently utilize vast amounts of data and play a pivotal role in enhancing user experiences. Graph Convolution Networks (GCNs) have surfaced as highly efficient models within the realm of recommender systems due to their ability to capture extensive relational information. The continuously expanding volume of data may render the training of GCNs excessively costly. To tackle this problem, incrementally training GCNs as new data blocks come in has become a vital research direction. Knowledge distillation techniques have been explored as a general paradigm to train GCNs incrementally and alleviate the catastrophic forgetting problem that typically occurs in incremental settings. However, we argue that current methods based on knowledge distillation introduce additional parameters and have a high model complexity, which results in unrealistic training time consumption in an incremental setting and thus difficult to actually deploy in the real world. In this work, we propose a light preference-driven distillation method to distill the preference score of a user for an item directly from historical interactions, which reduces the training time consumption in the incremental setting significantly without noticeable loss in performance. The experimental result on two general datasets shows that the proposed method can save training time from 1.5x to 9.5x compared to the existing methods and improves Recall@20 by 5.41% and 10.64% from the fine-tune method.
• Abstract（参考訳）: 現在,レコメンダシステムは大量のデータを活用し,ユーザエクスペリエンスの向上に重要な役割を担っている。 グラフ畳み込みネットワーク(GCN)は、広範囲のリレーショナル情報をキャプチャできるため、レコメンダシステムの領域内で非常に効率的なモデルとして浮上している。 継続的に増大するデータの量は、GCNのトレーニングを過度にコストがかかる可能性がある。 この問題に対処するため、新しいデータブロックが登場するにつれて、GCNを漸進的にトレーニングすることが重要な研究方向となっている。 知識蒸留技術は、GCNを漸進的に訓練し、通常段階的な設定で発生する破滅的な忘れの問題を軽減するための一般的なパラダイムとして研究されてきた。 しかし, 知識蒸留に基づく現在の手法は, 新たなパラメータを導入し, モデルの複雑さが高いため, 非現実的な訓練時間を漸進的に消費し, 現実の世界に展開することが困難である。 本研究では,歴史的相互作用から直接利用者の嗜好スコアを抽出する軽度嗜好駆動蒸留法を提案する。 2つの一般的なデータセットでの実験結果から,提案手法は既存の手法と比較して1.5倍から9.5倍のトレーニング時間を節約でき,微細チューニング法からRecall@20を5.41%,10.64%改善できることがわかった。

関連論文リスト

• SPEQ: Offline Stabilization Phases for Efficient Q-Learning in High Update-To-Data Ratio Reinforcement Learning [51.10866035483686]
  強化学習(RL)における高アップデート・トゥ・データ(UTD)比のアルゴリズムは、サンプル効率を改善するが、高い計算コストを伴い、現実世界のスケーラビリティを制限している。 我々は、低UTDオンライントレーニングと周期的オフライン安定化フェーズを組み合わせたRLアルゴリズムである、効率的なQ-Learningのためのオフライン安定化フェーズ(SPEQ)を提案する。 これらのフェーズでは、Q-関数は固定されたリプレイバッファ上で高いUTD比で微調整され、サブ最適データの冗長な更新が削減される。
  論文  参考訳（メタデータ） (2025-01-15T09:04:19Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• AST: Effective Dataset Distillation through Alignment with Smooth and High-Quality Expert Trajectories [18.266786462036553]
  我々は,Smoothと高品質なエキスパートトラジェクトリによるアライメントのための効果的なDDフレームワークASTを提案する。 さまざまなスケール、サイズ、解像度のデータセットに対して、広範な実験を行います。
  論文  参考訳（メタデータ） (2023-10-16T16:13:53Z)
• Incorporating Supervised Domain Generalization into Data Augmentation [4.14360329494344]
  本稿では,データ拡張の堅牢性と訓練効率を向上させるために,コントラッシブ・セマンティック・アライメント(CSA)ロス法を提案する。 CIFAR-100とCUBデータセットの実験により、提案手法は典型的なデータ拡張の堅牢性とトレーニング効率を向上させることが示された。
  論文  参考訳（メタデータ） (2023-10-02T09:20:12Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
  スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。 微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。 その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
  論文  参考訳（メタデータ） (2021-03-25T10:23:30Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。