論文の概要: MERGE: Next-Generation Item Indexing Paradigm for Large-Scale Streaming Recommendation
- arxiv url: http://arxiv.org/abs/2601.20199v1
- Date: Wed, 28 Jan 2026 02:56:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-29 15:46:06.742157
- Title: MERGE: Next-Generation Item Indexing Paradigm for Large-Scale Streaming Recommendation
- Title(参考訳): MERGE:大規模ストリーミングレコメンデーションのための次世代アイテムインデクシングパラダイム
- Authors: Jing Yan, Yimeng Bai, Zongyu Liu, Yahui Liu, Junwei Wang, Jingze Huang, Haoda Li, Sihao Ding, Shaohui Ruan, Yang Zhang,
- Abstract要約: 我々は,クラスタをスクラッチから適応的に構築し,クラスタの占有状況を動的に監視し,きめ細かいマージによって階層的なインデックス構造を形成する,次世代のアイテムインデックス化パラダイムであるMERGEを提案する。
大規模な実験により、MERGEは既存のインデックス手法と比較して割り当て精度、クラスタの均一性、クラスタの分離を著しく改善することが示された。
オンラインA/Bテストでは、主要なビジネス指標が大幅に向上し、大規模なレコメンデーションのための基本的なインデックス化アプローチとしての可能性を強調している。
- 参考スコア(独自算出の注目度): 15.1614576262293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Item indexing, which maps a large corpus of items into compact discrete representations, is critical for both discriminative and generative recommender systems, yet existing Vector Quantization (VQ)-based approaches struggle with the highly skewed and non-stationary item distributions common in streaming industry recommenders, leading to poor assignment accuracy, imbalanced cluster occupancy, and insufficient cluster separation. To address these challenges, we propose MERGE, a next-generation item indexing paradigm that adaptively constructs clusters from scratch, dynamically monitors cluster occupancy, and forms hierarchical index structures via fine-to-coarse merging. Extensive experiments demonstrate that MERGE significantly improves assignment accuracy, cluster uniformity, and cluster separation compared with existing indexing methods, while online A/B tests show substantial gains in key business metrics, highlighting its potential as a foundational indexing approach for large-scale recommendation.
- Abstract(参考訳): アイテムの大規模なコーパスをコンパクトな離散表現にマッピングするアイテムインデクシングは、識別的および生成的レコメンデータシステムにおいて重要であるが、既存のベクトル量子化(VQ)ベースのアプローチは、ストリーミング業界のレコメンダに共通する高度に歪んだ非定常なアイテム分布と競合し、割り当て精度の低下、クラスタ占有率の不均衡、クラスタ分離の不足に繋がる。
これらの課題に対処するため、我々は、スクラッチからクラスタを適応的に構築し、クラスタの占有を動的に監視し、きめ細かいマージによって階層的なインデックス構造を形成する次世代のアイテムインデックス化パラダイムであるMERGEを提案する。
大規模な実験では、MERGEは既存のインデックス化手法と比較して割り当て精度、クラスタの均一性、クラスタの分離を著しく改善する一方、オンラインA/Bテストでは主要なビジネス指標が大幅に向上し、大規模なレコメンデーションのための基本的なインデックス化アプローチとしての可能性を強調している。
関連論文リスト
- You Can Trust Your Clustering Model: A Parameter-free Self-Boosting Plug-in for Deep Clustering [73.48306836608124]
DCBoostはパラメータフリーのプラグインで、現在のディープクラスタリングモデルのグローバルな特徴構造を強化するように設計されている。
本手法は, クラスタリング性能を効果的に向上することを目的としている。
論文 参考訳(メタデータ) (2025-11-26T09:16:36Z) - Parameter-Free Clustering via Self-Supervised Consensus Maximization (Extended Version) [50.41628860536753]
本稿では,SCMax と呼ばれる自己教師型コンセンサス最大化による,新しい完全パラメータフリークラスタリングフレームワークを提案する。
本フレームワークは,階層的なクラスタリングとクラスタ評価を単一の統合プロセスで行う。
論文 参考訳(メタデータ) (2025-11-12T11:17:17Z) - Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations [22.48125906976824]
カスケード型組織的ビ表現型ジェネリック検索フレームワークを導入し,カスケード処理を通じてスパース意味IDと高密度ベクトルを統合する。
本手法は,これらの表現をまずスパースIDを生成して交互に生成し,高密度ベクトルの生成を支援する条件として機能する。
推論の間、COBRAは粗大な戦略を採用し、スパースID生成から始まり、生成モデルを介してそれらを密度の高いベクトルに精製する。
論文 参考訳(メタデータ) (2025-03-04T10:00:05Z) - Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。
提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
論文 参考訳(メタデータ) (2024-10-12T15:10:56Z) - Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-24T08:59:51Z) - GCC: Generative Calibration Clustering [55.44944397168619]
本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。
まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。
第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
論文 参考訳(メタデータ) (2024-04-14T01:51:11Z) - Unfolding ADMM for Enhanced Subspace Clustering of Hyperspectral Images [43.152314090830174]
本稿では,スパースサブスペースクラスタリングのためのマルチプライヤの交互方向法(ADMM)に基づく反復解法を展開させることにより,ハイパースペクトル画像(HSI)のための革新的なクラスタリングアーキテクチャを提案する。
提案手法は, 構造保存モジュールの一部として, K近傍近傍のアルゴリズムを用いて, HSIデータの構造特性をよく把握する。
論文 参考訳(メタデータ) (2024-04-10T15:51:46Z) - Deep Embedding Clustering Driven by Sample Stability [16.53706617383543]
サンプル安定性(DECS)により駆動されるディープ埋め込みクラスタリングアルゴリズムを提案する。
具体的には、まずオートエンコーダで初期特徴空間を構築し、次にサンプル安定性に制約されたクラスタ指向の埋め込み機能を学ぶ。
5つのデータセットに対する実験結果から,提案手法は最先端のクラスタリング手法と比較して優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-01-29T09:19:49Z) - End-to-end Learnable Clustering for Intent Learning in Recommendation [54.157784572994316]
我々は、アンダーラインELCRecと呼ばれる新しい意図学習手法を提案する。
振る舞い表現学習をUnderlineEnd-to-end UnderlineLearnable UnderlineClusteringフレームワークに統合する。
1億3000万ページビューの産業レコメンデーションシステムに本手法をデプロイし,有望な結果を得る。
論文 参考訳(メタデータ) (2024-01-11T15:22:55Z) - Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers [24.88026399458157]
ビザンティンの機械学習は、予測不可能な欠陥によってかなりの注目を集めている。
分散学習におけるマシンのセキュア化の鍵は、レジリエントな集約メカニズムである。
論文 参考訳(メタデータ) (2023-12-20T08:36:55Z) - Deep Conditional Gaussian Mixture Model for Constrained Clustering [7.070883800886882]
制約付きクラスタリングは、部分的にラベル付けされたデータの増加量に関する事前情報を利用することができる。
本稿では、直感的で解釈可能で、勾配変動推論の枠組みで効率的に訓練できる制約付きクラスタリングのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-11T13:38:09Z) - Channel DropBlock: An Improved Regularization Method for Fine-Grained
Visual Classification [58.07257910065007]
既存のアプローチは主に、識別的部分を見つけるための注意機構や、高度にパラメータ化された特徴を弱教師付きで抽出する特徴符号化アプローチを導入することでこの問題に対処している。
本研究では,CDB(Channel DropBlock)と呼ばれる軽量で効果的な正規化手法を提案する。
論文 参考訳(メタデータ) (2021-06-07T09:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。