論文の概要: MDL: A Unified Multi-Distribution Learner in Large-scale Industrial Recommendation through Tokenization

• arxiv url: http://arxiv.org/abs/2602.07520v2
• Date: Tue, 10 Feb 2026 06:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 15:31:42.937447
• Title: MDL: A Unified Multi-Distribution Learner in Large-scale Industrial Recommendation through Tokenization
• Title（参考訳）: MDL:トークン化による大規模産業レコメンデーションにおける統一型マルチディストリビューション学習者
• Authors: Shanlei Mu, Yuchen Jiang, Shikang Wu, Shiyong Hong, Tianmu Sha, Junjie Zhang, Jie Zhu, Zhe Chen, Zhe Wang, Jingjian Lin,
• Abstract要約: 産業レコメンデータシステムは、多様なユーザインタラクションやコンテキストを扱うために、MSL(Multi-scenario Learning)とMulti-task Learning(MTL)を採用するようになっている。 既存のアプローチでは,(1)複雑な特徴モジュールとの相互作用が限られているため,大規模モデルパラメータの非活用,(2)統合されたフレームワークにおけるシナリオとタスク情報の共同モデリングの難しさ,という2つの重大な欠点がある。 大規模言語モデル(LLM)における「プロンプト」パラダイムにインスパイアされた、統一された textbfMulti-textbfDistribution textbfL MSL フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.534152704620261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Industrial recommender systems increasingly adopt multi-scenario learning (MSL) and multi-task learning (MTL) to handle diverse user interactions and contexts, but existing approaches suffer from two critical drawbacks: (1) underutilization of large-scale model parameters due to limited interaction with complex feature modules, and (2) difficulty in jointly modeling scenario and task information in a unified framework. To address these challenges, we propose a unified \textbf{M}ulti-\textbf{D}istribution \textbf{L}earning (MDL) framework, inspired by the "prompting" paradigm in large language models (LLMs). MDL treats scenario and task information as specialized tokens rather than auxiliary inputs or gating signals. Specifically, we introduce a unified information tokenization module that transforms features, scenarios, and tasks into a unified tokenized format. To facilitate deep interaction, we design three synergistic mechanisms: (1) feature token self-attention for rich feature interactions, (2) domain-feature attention for scenario/task-adaptive feature activation, and (3) domain-fused aggregation for joint distribution prediction. By stacking these interactions, MDL enables scenario and task information to "prompt" and activate the model's vast parameter space in a bottom-up, layer-wise manner. Extensive experiments on real-world industrial datasets demonstrate that MDL significantly outperforms state-of-the-art MSL and MTL baselines. Online A/B testing on Douyin Search platform over one month yields +0.0626\% improvement in LT30 and -0.3267\% reduction in change query rate. MDL has been fully deployed in production, serving hundreds of millions of users daily.
• Abstract（参考訳）: 産業レコメンデータシステムは、多様なユーザインタラクションやコンテキストを扱うために、マルチシナリオラーニング(MSL)とマルチタスクラーニング(MTL)を採用する傾向にあるが、既存のアプローチでは、(1)複雑な特徴モジュールとの相互作用が限られているため、大規模モデルパラメータの過小化、(2)統合されたフレームワークにおけるシナリオとタスク情報の共同モデリングの難しさの2つの重大な欠点に悩まされている。 これらの課題に対処するため、大言語モデル(LLM)における「プロンプティング」パラダイムに着想を得て、統一された \textbf{M}ulti-\textbf{D}istribution \textbf{L}earning (MDL) フレームワークを提案する。 MDLは、シナリオやタスク情報を補助的な入力やゲーティング信号ではなく、特別なトークンとして扱う。 具体的には、機能、シナリオ、タスクを統一されたトークン化フォーマットに変換する統一された情報トークン化モジュールを導入する。 深い相互作用を促進するために,(1)リッチな特徴相互作用のための特徴トークン自己認識,(2)シナリオ/タスク適応的特徴活性化のためのドメインフィーチャー注意,(3)共同分布予測のためのドメイン融合アグリゲーションの3つの相乗的メカニズムを設計する。 これらの相互作用を積み重ねることで、MDLはシナリオとタスク情報を"飛び跳ね"、ボトムアップ層的にモデルの広大なパラメータ空間を活性化することを可能にする。 実世界の産業データセットに関する大規模な実験により、MDLは最先端のMSLとMLLベースラインを大幅に上回っていることが示された。 1ヶ月以上のDouyin SearchプラットフォームのオンラインA/Bテストでは、LT30の+0.0626\%の改善と、-0.3267\%の変更クエリ率の-0.3267\%削減が実現している。 MDLは実運用環境に完全にデプロイされており、毎日数億人のユーザにサービスを提供している。

関連論文リスト

• Empowering Large Language Model for Sequential Recommendation via Multimodal Embeddings and Semantic IDs [28.752042722391934]
  シークエンシャルレコメンデーション(SR)は,ユーザの動的関心や時系列パターンを過去のインタラクションに基づいて捉えることを目的としている。 MME-SIDは多モード埋め込みと量子埋め込みを統合し、埋め込み崩壊を緩和する。 3つの公開データセットに対する大規模な実験により、MME-SIDの優れた性能が検証された。
  論文  参考訳（メタデータ） (2025-09-02T07:02:29Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [72.68665884790002]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 本稿では,教師モデルの頑健な表現を視覚的,言語的両面で伝達するために,MDist(Multimodal Distillation)を導入する。 また,提案した蒸留戦略の可能性をフル活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• LLMBind: A Unified Modality-Task Integration Framework [38.95771765322677]
  多様なマルチモーダルタスクを統一する新しいフレームワークである textbfLLMBind を導入する。 LLMBindはMixture-of-Experts (MoE) Large Language Model (LLM)を利用してマルチモーダル入力を処理し、タスク固有のトークンを生成する。
  論文  参考訳（メタデータ） (2024-02-22T12:36:31Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。