論文の概要: RQ-GMM: Residual Quantized Gaussian Mixture Model for Multimodal Semantic Discretization in CTR Prediction

• arxiv url: http://arxiv.org/abs/2602.12593v1
• Date: Fri, 13 Feb 2026 04:11:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:53.841813
• Title: RQ-GMM: Residual Quantized Gaussian Mixture Model for Multimodal Semantic Discretization in CTR Prediction
• Title（参考訳）: RQ-GMM:CTR予測における多モードセマンティック離散化のための残留量子化ガウス混合モデル
• Authors: Ziye Tong, Jiahao Liu, Weimin Zhang, Hongji Ruan, Derick Tang, Zhanpeng Zeng, Qinsong Zeng, Peng Zhang, Tun Lu, Ning Gu,
• Abstract要約: CTRモデルに組み込む前にセマンティックIDに埋め込みを識別することは、より効果的なソリューションを提供する。 本稿では,マルチモーダル埋め込み空間の統計構造をより正確に把握するための確率的モデリングを導入するRQ-GMMを提案する。 RQ-GMMは、優れたコードブック利用と再構築精度を実現する。
• 参考スコア（独自算出の注目度）: 29.97246591569267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal content is crucial for click-through rate (CTR) prediction. However, directly incorporating continuous embeddings from pre-trained models into CTR models yields suboptimal results due to misaligned optimization objectives and convergence speed inconsistency during joint training. Discretizing embeddings into semantic IDs before feeding them into CTR models offers a more effective solution, yet existing methods suffer from limited codebook utilization, reconstruction accuracy, and semantic discriminability. We propose RQ-GMM (Residual Quantized Gaussian Mixture Model), which introduces probabilistic modeling to better capture the statistical structure of multimodal embedding spaces. Through Gaussian Mixture Models combined with residual quantization, RQ-GMM achieves superior codebook utilization and reconstruction accuracy. Experiments on public datasets and online A/B tests on a large-scale short-video platform serving hundreds of millions of users demonstrate substantial improvements: RQ-GMM yields a 1.502% gain in Advertiser Value over strong baselines. The method has been fully deployed, serving daily recommendations for hundreds of millions of users.
• Abstract（参考訳）: マルチモーダルコンテンツはクリックスルー率(CTR)予測に不可欠である。 しかし,CTRモデルに事前学習モデルからの連続的な埋め込みを組み込むことで,協調トレーニングにおける最適化目標の一致や収束速度の不整合による準最適結果が得られる。 セマンティックIDへの埋め込みをCTRモデルに入力する前に識別することは、より効果的なソリューションを提供するが、既存のメソッドはコードブックの利用制限、再構築精度、セマンティック識別性に悩まされている。 本稿では,RQ-GMM(Residual Quantized Gaussian Mixture Model)を提案する。 残留量子化と組み合わせたガウス混合モデルにより、RQ-GMMは優れたコードブック利用率と再構成精度を実現する。 RQ-GMMは、強力なベースラインよりもAdvertiser Valueが1.502%向上する。 このメソッドは完全にデプロイされ、数億人のユーザに毎日レコメンデーションを提供しています。

関連論文リスト

• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• FineGates: LLMs Finetuning with Compression using Stochastic Gates [7.093692674858257]
  大規模言語モデル(LLM)は、高い計算要求のため、完全な微調整に重大な課題をもたらす。 低ランクのアダプタ層を学習するなど、軽量なファインタニング技術が提案されている。 本稿では,フリーズベースモデルとタスク固有適応を同時に分散するゲートに基づくアダプタモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-17T14:33:05Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Boosting Randomized Smoothing with Variance Reduced Classifiers [4.110108749051657]
  ランダム化平滑化(Randomized Smoothing, RS)のベースモデルとして, アンサンブルが特に適した選択である理由を考察する。 我々は、この選択を実証的に確認し、複数の設定でアート結果の状態を取得する。
  論文  参考訳（メタデータ） (2021-06-13T08:40:27Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。