論文の概要: OnePiece: The Great Route to Generative Recommendation -- A Case Study from Tencent Algorithm Competition
- arxiv url: http://arxiv.org/abs/2512.07424v1
- Date: Mon, 08 Dec 2025 10:56:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.849148
- Title: OnePiece: The Great Route to Generative Recommendation -- A Case Study from Tencent Algorithm Competition
- Title(参考訳): OnePiece: 生成レコメンデーションへの偉大な道 - Tencentアルゴリズムコンペティションのケーススタディ
- Authors: Jiangxia Cao, Shuo Yang, Zijun Wang, Qinghai Tan,
- Abstract要約: RecSysでは、検索段階は、グローバルアイテムセットからのアイテムの混乱を思い出すため、'next-token prediction'パラダイムにも従う。
これは哲学的な疑問を提起する: 生成的レコメンデーションは、潜在的にスケーリングの法則も保持しているか?
スケーリング法則を同時に検証する統合エンコーダデコーダフレームワークを考案した。
- 参考スコア(独自算出の注目度): 12.411485758331969
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In past years, the OpenAI's Scaling-Laws shows the amazing intelligence with the next-token prediction paradigm in neural language modeling, which pointing out a free-lunch way to enhance the model performance by scaling the model parameters. In RecSys, the retrieval stage is also follows a 'next-token prediction' paradigm, to recall the hunderds of items from the global item set, thus the generative recommendation usually refers specifically to the retrieval stage (without Tree-based methods). This raises a philosophical question: without a ground-truth next item, does the generative recommendation also holds a potential scaling law? In retrospect, the generative recommendation has two different technique paradigms: (1) ANN-based framework, utilizing the compressed user embedding to retrieve nearest other items in embedding space, e.g, Kuaiformer. (2) Auto-regressive-based framework, employing the beam search to decode the item from whole space, e.g, OneRec. In this paper, we devise a unified encoder-decoder framework to validate their scaling-laws at same time. Our empirical finding is that both of their losses strictly adhere to power-law Scaling Laws ($R^2$>0.9) within our unified architecture.
- Abstract(参考訳): ここ数年、OpenAIのScaling-Lawsは、ニューラルネットワークモデリングにおける次世代の予測パラダイムによる驚くべきインテリジェンスを示している。
RecSysでは、検索段階は、グローバルアイテムセットからのアイテムの混乱を思い出すために、'next-token prediction'パラダイムにも従っているため、生成的推奨は通常、(ツリーベースのメソッドなしで)検索段階に特化して言及する。
これは哲学的な疑問を提起する: 基本的真実がなければ、生成的推奨は潜在的なスケーリング法も保持するだろうか?
1)圧縮されたユーザ埋め込みを利用して、最も近い他のアイテム(例えば、Kuaiformer)を埋め込む。
2) 自動回帰ベースのフレームワーク、例えばOneRecのような全空間からアイテムをデコードするためにビームサーチを利用する。
本稿では,エンコーダ・デコーダ統合フレームワークを考案し,それらのスケーリング法則を同時に検証する。
我々の経験的発見は、両者の損失は、我々の統一アーキテクチャ内でのパワーロースケーリング法(R^2$>0.9)に厳密に従っているということである。
関連論文リスト
- MindRec: A Diffusion-driven Coarse-to-Fine Paradigm for Generative Recommendation [27.715453433108937]
MindRecは人間の思考過程をエミュレートする粗大な生成パラダイムである。
我々はMindRecが最先端の手法よりも平均9.5%の精度でトップ1の精度を向上させることを示した。
論文 参考訳(メタデータ) (2025-11-16T13:42:59Z) - Pretraining Scaling Laws for Generative Evaluations of Language Models [30.6654523997984]
生成評価にパス-at-k$を適合させ、最も高価なモデルのパス-at-k$を予測するための3つの異なるスケーリング法則を示す。
我々のフレームワークは、研究者や実践者に対して、生成性能を予測するための洞察と方法論を提供します。
論文 参考訳(メタデータ) (2025-09-28T18:04:18Z) - Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。
本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
論文 参考訳(メタデータ) (2025-04-14T06:54:49Z) - Scaling Law Phenomena Across Regression Paradigms: Multiple and Kernel Approaches [28.569601803576845]
トランスフォーマーアーキテクチャを持つモデルの場合、テスト損失はモデルサイズ、データセットサイズ、トレーニングで使用される計算量と強力な関係を示す。
我々の分析はスケーリング法則に関する深い洞察を与え、大きな言語モデルに対する理解を深める可能性がある。
論文 参考訳(メタデータ) (2025-03-03T08:57:49Z) - OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。
OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。
最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
論文 参考訳(メタデータ) (2024-09-14T07:44:22Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2~3倍の高速化を実現した。
論文 参考訳(メタデータ) (2024-07-22T18:00:00Z) - Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。
微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。
本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-04T01:55:00Z) - How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
各種コーパス尺度における生成的検索手法の実証的研究を行った。
我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。
生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
論文 参考訳(メタデータ) (2023-05-19T17:33:38Z) - Improving Dual-Encoder Training through Dynamic Indexes for Negative
Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。
我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文 参考訳(メタデータ) (2023-03-27T15:18:32Z) - Approximate Nearest Neighbor Search under Neural Similarity Metric for
Large-Scale Recommendation [20.42993976179691]
本稿では,任意のマッチング関数にANN探索を拡張する新しい手法を提案する。
我々の主な考えは、すべての項目から構築された類似性グラフに一致する関数で、欲張りのウォークを実行することである。
提案手法は,Taobaoのディスプレイ広告プラットフォームに完全に展開されており,広告収入の大幅な増加をもたらす。
論文 参考訳(メタデータ) (2022-02-14T07:55:57Z) - Encoder-Decoder Generative Adversarial Nets for Suffix Generation and
Remaining Time Prediction of Business Process Models [0.03807314298073299]
本稿では,GAN(Generative Adversarial Networks)に基づくエンコーダデコーダアーキテクチャを提案する。
GANは画像などの識別可能なデータでうまく機能するが、接尾辞は分類項目の列である。
我々はGumbel-Softmax分布を用いて微分可能な連続近似を得る。
論文 参考訳(メタデータ) (2020-07-30T03:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。