論文の概要: LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation

• arxiv url: http://arxiv.org/abs/2605.29280v1
• Date: Thu, 28 May 2026 02:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.605318
• Title: LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation
• Title（参考訳）: LoopFM: Recommendationの基礎モデルに関するFrom HistOrical RePresentationsの学習
• Authors: Shali Jiang, Hua Zheng, Boyang Liu, Laming Chen, Kenny Lov, Chuanqi Xu, Lisang Ding, Qinghai Zhou, Can Cui, Xiaolong Liu, Xiaoyi Liu, Yasmine Badr, Xin Xu, Jiyan Yang, Ellie Dingqiao Wen, Gerard Jonathan Mugisha Akkerhuis, Chenxiao Guan, Rong Jin, Ruichao Qiu, Xian Chen, Shifu Xu, Zhehui Zhou, Ping Chen, Rui Yang, Haicheng Chen, Xiangge Meng, Song Zhou, Dharak Kharod, Shuyu Xu, Qiang Jin, Qiao Yang, Wankun Zhu, Qin Huang, Yuzhen Huang, Darren Liu, Parish Aggarwal, Hui Zhou, Erzhuo Wang, Shuo Chang, Xiaorui Gan, Wenlin Chen, Santanu Kolay, Huayu Li,
• Abstract要約: LoopFMは、FM中間埋め込みを入力として構成することで、高帯域転送チャネルを開くフレームワークである。 産業規模のシステムでは、LoopFMはKD上の知識伝達比を約2倍にする。
• 参考スコア（独自算出の注目度）: 34.55555385952932
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Knowledge distillation (KD) transfers a single scalar prediction from a large foundation model (FM) to compact vertical models (VMs), suffering from diminishing transfer ratio -- the fraction of FM improvement captured by the VM -- as a single scalar cannot convey the rich intermediate knowledge that larger FMs learn. To address this bottleneck, we propose LoopFM (Learning frOm HistOrical ReP*resentations of FM), a framework that opens a high-bandwidth transfer channel by structuring FM intermediate embeddings as input features (e.g., user history sequence) for downstream VMs, without requiring real-time FM inference at serving and architectural coupling between FM and VM. We provide a theoretical framework for LoopFM with a gain decomposition and transfer-ratio analysis. On three public benchmarks, LoopFM demonstrates strong AUC improvements (e.g., 6\%+ on TaobaoAd) and complementary knowledge transfer capability with KD. On industrial-scale systems (billions of examples, trillion-parameter FMs), LoopFM approximately doubles the knowledge transfer ratio on top of KD, delivering a +0.5\% conversion improvement in Y1H1, and a +1.03\% and +1.22\% conversion improvement from two individual launches respectively in Y1H2.
• Abstract（参考訳）: 知識蒸留(KD)は、単一のスカラー予測を、大きな基礎モデル(FM)からコンパクトな垂直モデル(VM)に転送する。 このボトルネックに対処するために、我々は、FM中間埋め込みを下流VMの入力機能(例えば、ユーザ履歴シーケンス)として構築し、FMとVM間のリアルタイムFM推論を必要とせず、高帯域転送チャネルを開放するフレームワークであるLoopFM(Learning frOm HistOrical ReP*resentations of FM)を提案する。 利得分解と転送比分析によるLoopFMの理論的枠組みを提案する。 3つの公開ベンチマークでは、LoopFMは強力なAUC改善(例:TaobaoAdの6\%+)とKDによる補完的な知識伝達能力を示している。 産業規模のシステム(例えば1兆パラメータFM)では、LoopFMはKDの上の知識伝達比を約2倍にし、Y1H1では+0.5\%、Y1H2では2回の打ち上げで+1.03\%と+1.22\%の変換改善を実現している。

関連論文リスト

• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• COT-FM: Cluster-wise Optimal Transport Flow Matching [5.771040439456201]
  フローマッチングモデルは、しばしばランダムまたはバッチの結合による曲線軌道を生成する。 COT-FMは、ターゲットサンプルをクラスタ化し、各クラスタに専用のソースディストリビューションを割り当てることで、この問題を修正する。 プラグアンドプレイのアプローチとして、COT-FMは一貫してサンプリングを加速し、2Dデータセット、画像生成ベンチマーク、ロボット操作タスクにおける生成品質を改善する。
  論文  参考訳（メタデータ） (2026-03-11T13:52:17Z)
• OAT-FM: Optimal Acceleration Transport for Improved Flow Matching [31.693019737039496]
  Flow Matching (FM)は、ノイズからデータへの速度場学習を目的としている。 FM橋と最近の最適加速輸送理論(OAT) 我々は、OAT-FMと呼ばれる改良されたFM法を開発し、理論と実践の両面でその利点を探求する。
  論文  参考訳（メタデータ） (2025-09-29T15:36:27Z)
• FedPFT: Federated Proxy Fine-Tuning of Foundation Models [55.58899993272904]
  フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。 FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:30:06Z)
• Precise Knowledge Transfer via Flow Matching [24.772381404849174]
  我々はこのフレームワークをフローマッチングを用いた知識伝達(FM-KT)と呼ぶ。 FM-KTは任意の形態(バニラKD、DKD、PKD、DISTなど)のメートル法に基づく蒸留法と統合することができる。 提案手法のスケーラビリティと最先端性能を,関連する比較手法で実証的に検証した。
  論文  参考訳（メタデータ） (2024-02-03T03:59:51Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。