論文の概要: Device-Cloud Collaborative Correction for On-Device Recommendation

• arxiv url: http://arxiv.org/abs/2506.12687v1
• Date: Sun, 15 Jun 2025 02:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.696253
• Title: Device-Cloud Collaborative Correction for On-Device Recommendation
• Title（参考訳）: オンデバイスレコメンデーションのためのデバイスクラウド協調補正
• Authors: Tianyu Zhan, Shengyu Zhang, Zheqi Lv, Jieming Zhu, Jiwei Li, Fan Wu, Fei Wu,
• Abstract要約: デバイス上でのリアルタイム性能とハイパフォーマンスのバランスをとるために,CoCorrRecを提案する。 CoCorrRecは、パラメータを極めて低コストで修正するために自己補正ネットワーク(SCN)を使用している。 CoCorrRecはTransformerベースやRNNベースのデバイスレコメンデーションモデルよりも性能的に優れていることを示す。
• 参考スコア（独自算出の注目度）: 30.559850728892943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of recommendation models and device computing power, device-based recommendation has become an important research area due to its better real-time performance and privacy protection. Previously, Transformer-based sequential recommendation models have been widely applied in this field because they outperform Recurrent Neural Network (RNN)-based recommendation models in terms of performance. However, as the length of interaction sequences increases, Transformer-based models introduce significantly more space and computational overhead compared to RNN-based models, posing challenges for device-based recommendation. To balance real-time performance and high performance on devices, we propose Device-Cloud \underline{Co}llaborative \underline{Corr}ection Framework for On-Device \underline{Rec}ommendation (CoCorrRec). CoCorrRec uses a self-correction network (SCN) to correct parameters with extremely low time cost. By updating model parameters during testing based on the input token, it achieves performance comparable to current optimal but more complex Transformer-based models. Furthermore, to prevent SCN from overfitting, we design a global correction network (GCN) that processes hidden states uploaded from devices and provides a global correction solution. Extensive experiments on multiple datasets show that CoCorrRec outperforms existing Transformer-based and RNN-based device recommendation models in terms of performance, with fewer parameters and lower FLOPs, thereby achieving a balance between real-time performance and high efficiency.
• Abstract（参考訳）: 推奨モデルとデバイスコンピューティング能力の急速な発展により、デバイスベースの推奨は、より優れたリアルタイムパフォーマンスとプライバシ保護のために重要な研究領域となっている。 これまで、Transformerベースのシーケンシャルレコメンデーションモデルは、パフォーマンスの観点からRecurrent Neural Network(RNN)ベースのレコメンデーションモデルより優れているため、この分野に広く適用されてきた。 しかしながら、インタラクションシーケンスの長さが増加するにつれて、Transformerベースのモデルでは、RNNベースのモデルに比べて、空間と計算オーバーヘッドが大幅に増加し、デバイスベースのレコメンデーションの課題が浮かび上がっている。 デバイス上でのリアルタイム性能とハイパフォーマンスのバランスをとるために,デバイス上でのデバイス-クラウド \underline{Co}llaborative \underline{Corr}ection Framework for On-Device \underline{Rec}ommendation (CoCorrRec)を提案する。 CoCorrRecは、パラメータを極めて低コストで修正するために自己補正ネットワーク(SCN)を使用している。 入力トークンに基づいてテスト中のモデルパラメータを更新することにより、現在の最適だがより複雑なTransformerベースのモデルに匹敵するパフォーマンスを実現する。 さらに、SCNの過度な適合を防止するため、デバイスからアップロードされた隠れ状態を処理するグローバル修正ネットワーク(GCN)を設計し、グローバル修正ソリューションを提供する。 複数のデータセットに対する大規模な実験によると、CoCorrRecは既存のTransformerベースやRNNベースのデバイスレコメンデーションモデルよりもパフォーマンスが優れており、パラメータが少なく、FLOPが低いため、リアルタイムのパフォーマンスと高い効率のバランスがとれる。

関連論文リスト

• The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
  大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。 本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
  論文  参考訳（メタデータ） (2025-05-14T08:18:55Z)
• Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models [1.5807079236265718]
  KENはカーネル密度推定(KDE)に基づく単純で普遍的で非構造化プルーニングアルゴリズムである Kenは、最適化されたトランスフォーマーを構築することを目的としており、最も重要なパラメータを選択的に保存し、他のパラメータをトレーニング前の状態に復元する。 Kenは、元の未実行バージョンと同等かそれ以上のパフォーマンスを達成し、パラメータの最小25%の削減を実現している。
  論文  参考訳（メタデータ） (2024-02-05T16:11:43Z)
• Linear Combination of Exponential Moving Averages for Wireless Channel Prediction [2.34863357088666]
  本研究では,指数移動平均(EMA)に基づく予測モデルについて検討した。 EMA線形結合(ELC)と呼ばれる新しいモデルを導入し、説明し、実験的に評価した。
  論文  参考訳（メタデータ） (2023-12-13T07:44:05Z)
• DUET: A Tuning-Free Device-Cloud Collaborative Parameters Generation Framework for Efficient Device Model Generalization [66.27399823422665]
  デバイスモデル一般化(Device Model Generalization, DMG)は、デバイス上での機械学習アプリケーションにおいて、実用的ながら実証されていない研究トピックである。 本稿では,Device-cloUdコラボレーティブパラメトリクスフレームワークDUETを提案する。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• Persistence Initialization: A novel adaptation of the Transformer architecture for Time Series Forecasting [0.7734726150561088]
  時系列予測は多くの実世界の応用において重要な問題である。 本稿では,時系列予測のタスクに着目したトランスフォーマーアーキテクチャの新たな適応を提案する。 ReZero正規化とロータリー位置符号化を備えたデコーダトランスを用いるが、この適応は任意の自己回帰型ニューラルネットワークモデルに適用できる。
  論文  参考訳（メタデータ） (2022-08-30T13:04:48Z)
• Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on Edge Devices [19.335535517714703]
  エッジへの展開後のディープニューラルネットワーク(DNN)の予測精度は、新しいデータの分布の変化によって、時間とともに低下する可能性がある。 バッチ正規化パラメータを再調整することにより、ノイズデータに対するモデルの予測精度を向上させるため、近年の予測時間非教師なしDNN適応技術が導入されている。 本論文は, 各種エッジデバイスの性能とエネルギーを定量化するために, この種の技術に関する総合的な研究を初めて行ったものである。
  論文  参考訳（メタデータ） (2022-03-21T19:10:40Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity [46.75304109970339]
  本稿では、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方に汎用的な新しいモバイル推論加速フレームワークGRIMを設計する。 ブロックベースカラムロープルーニング(BCR)による微細粒度構造解析手法を提案する。 我々のGRIMフレームワークは、この新たなきめ細かな構造化された空間に基づいて、(a)リアルタイムモバイル推論のためのコンパイラ最適化とコード生成という2つの部分で構成されています。
  論文  参考訳（メタデータ） (2021-08-25T03:50:46Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。