論文の概要: Efficient Cross-Architecture Knowledge Transfer for Large-Scale Online User Response Prediction

• arxiv url: http://arxiv.org/abs/2602.01775v1
• Date: Mon, 02 Feb 2026 08:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.996814
• Title: Efficient Cross-Architecture Knowledge Transfer for Large-Scale Online User Response Prediction
• Title（参考訳）: 大規模オンラインユーザ応答予測のためのクロスアーキテクチャの効率的な知識伝達
• Authors: Yucheng Wu, Yuekui Yang, Hongzheng Li, Anan Liu, Jian Xiao, Junjie Zhai, Huan Yu, Shaoping Ma, Leye Wang,
• Abstract要約: CrossAdaptは、効率的なクロスアーキテクチャ知識伝達のための2段階のフレームワークである。 オフラインの段階では、反復的なトレーニングなしで次元適応射影による迅速な埋め込み転送が可能である。 オンラインステージでは、教師が頻繁に更新すると同時に、教師が頻繁に更新する非対称な共蒸留が導入されている。
• 参考スコア（独自算出の注目度）: 43.353811451921466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying new architectures in large-scale user response prediction systems incurs high model switching costs due to expensive retraining on massive historical data and performance degradation under data retention constraints. Existing knowledge distillation methods struggle with architectural heterogeneity and the prohibitive cost of transferring large embedding tables. We propose CrossAdapt, a two-stage framework for efficient cross-architecture knowledge transfer. The offline stage enables rapid embedding transfer via dimension-adaptive projections without iterative training, combined with progressive network distillation and strategic sampling to reduce computational cost. The online stage introduces asymmetric co-distillation, where students update frequently while teachers update infrequently, together with a distribution-aware adaptation mechanism that dynamically balances historical knowledge preservation and fast adaptation to evolving data. Experiments on three public datasets show that CrossAdapt achieves 0.27-0.43% AUC improvements while reducing training time by 43-71%. Large-scale deployment on Tencent WeChat Channels (~10M daily samples) further demonstrates its effectiveness, significantly mitigating AUC degradation, LogLoss increase, and prediction bias compared to standard distillation baselines.
• Abstract（参考訳）: 大規模ユーザ応答予測システムに新しいアーキテクチャをデプロイすると、大量の履歴データに対する高価な再トレーニングとデータ保持制約によるパフォーマンス劣化により、モデル切り替えコストが高くなる。 既存の知識蒸留法は, 構造的不均一性と, 大型埋込テーブルの移転の禁止コストに悩まされている。 効率的なクロスアーキテクチャ知識伝達のための2段階フレームワークであるCrossAdaptを提案する。 オフラインの段階では、反復的なトレーニングを伴わずに次元適応的な射影を高速に埋め込み、プログレッシブネットワーク蒸留と戦略的サンプリングを組み合わせて計算コストを削減できる。 オンラインステージでは、教師が頻繁に更新する一方で、教師が頻繁に更新する非対称な共蒸留が導入され、また、歴史的知識の保存と進化するデータへの迅速な適応を動的にバランスする分布認識適応機構も導入されている。 3つの公開データセットの実験では、CrossAdaptがAUCの改善0.27-0.43%を達成し、トレーニング時間を43-71%短縮した。 Tencent WeChat Channels(毎日約1000万サンプル)への大規模デプロイメントは、その効果をさらに証明し、AUCの劣化を著しく軽減し、LogLossの増加、標準蒸留ベースラインと比較して予測バイアスを緩和する。

関連論文リスト

• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• Light distillation for Incremental Graph Convolution Collaborative Filtering [0.0]
  本稿では, 歴史的相互作用から直接, 利用者の嗜好スコアを抽出する軽度嗜好駆動蒸留法を提案する。 提案手法は,既存の手法と比較して1.5倍から9.5倍のトレーニング時間を節約し,微細チューニング法からRecall@20を5.41%,10.64%改善する。
  論文  参考訳（メタデータ） (2025-05-26T10:47:26Z)
• SPEQ: Offline Stabilization Phases for Efficient Q-Learning in High Update-To-Data Ratio Reinforcement Learning [51.10866035483686]
  強化学習(RL)における高アップデート・トゥ・データ(UTD)比のアルゴリズムは、サンプル効率を改善するが、高い計算コストを伴い、現実世界のスケーラビリティを制限している。 我々は、低UTDオンライントレーニングと周期的オフライン安定化フェーズを組み合わせたRLアルゴリズムである、効率的なQ-Learningのためのオフライン安定化フェーズ(SPEQ)を提案する。 これらのフェーズでは、Q-関数は固定されたリプレイバッファ上で高いUTD比で微調整され、サブ最適データの冗長な更新が削減される。
  論文  参考訳（メタデータ） (2025-01-15T09:04:19Z)
• Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
  ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。 本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-10-27T10:59:55Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Accumulated Polar Feature-based Deep Learning for Efficient and Lightweight Automatic Modulation Classification with Channel Compensation Mechanism [6.915743897443897]
  次世代通信では、大規模な機械型通信(mMTC)が基地局に深刻な負担をもたらす。 ディープラーニング(DL)技術は、ネットワークにインテリジェンスを格納し、従来のアプローチよりも優れたパフォーマンスをもたらす。 本研究では, チャネル補償機構を付加した極性特徴量型DLを提案し, 上記の問題に対処する。
  論文  参考訳（メタデータ） (2020-01-06T04:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。