論文の概要: Markovian Pre-Trained Transformer for Next-Item Recommendation

• arxiv url: http://arxiv.org/abs/2601.08275v1
• Date: Tue, 13 Jan 2026 07:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.090955
• Title: Markovian Pre-Trained Transformer for Next-Item Recommendation
• Title（参考訳）: 次項目推薦のためのマルコフ前処理変圧器
• Authors: Cong Xu, Guoliang Li, Jun Wang, Wei Zhang,
• Abstract要約: 本稿では,マルコフ事前学習変換器(MPT)について紹介する。 MPTは、合成マルコフ鎖に完全に事前訓練された転写可能なモデルである。
• 参考スコア（独自算出の注目度）: 21.763699142431136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the Markovian Pre-trained Transformer (MPT) for next-item recommendation, a transferable model fully pre-trained on synthetic Markov chains, yet capable of achieving state-of-the-art performance by fine-tuning a lightweight adaptor. This counterintuitive success stems from the observation of the `Markovian' nature: advanced sequential recommenders coincidentally rely on the latest interaction to make predictions, while the historical interactions serve mainly as auxiliary cues for inferring the user's general, non-sequential identity. This characteristic necessitates the capabilities of a universal recommendation model to effectively summarize the user sequence, with particular emphasis on the latest interaction. MPT inherently has the potential to be universal and transferable. On the one hand, when trained to predict the next state of Markov chains, it acquires the capabilities to estimate transition probabilities from the context (one adaptive manner for summarizing sequences) and attend to the last state to ensure accurate state transitions. On the other hand, unlike the heterogeneous interaction data, an unlimited amount of controllable Markov chains is available to boost the model capacity. We conduct extensive experiments on five public datasets from three distinct platforms to validate the superiority of Markovian pre-training over traditional recommendation pre-training and recent language pre-training paradigms.
• Abstract（参考訳）: 本稿では, マルコフ前訓練トランスフォーマ(MPT)を導入し, 合成マルコフ連鎖を十分に事前学習し, 軽量アダプタを微調整して最先端性能を実現する。 先進的なレコメンデータは、同時に最新のインタラクションに依存して予測を行う一方で、歴史的インタラクションは、主にユーザの一般的な非シーケンシャルなアイデンティティを推測するための補助的手がかりとして機能する。 この特徴は、ユーザシーケンスを効果的に要約するユニバーサルレコメンデーションモデルの能力を必要とし、特に最新のインタラクションに重点を置いている。 MPTは本質的に普遍的で転送可能な可能性を持っている。 一方、マルコフ連鎖の次の状態を予測するために訓練されると、コンテキスト(シーケンスを要約する適応的な方法)から遷移確率を推定し、最後の状態に到達して正確な状態遷移を保証する能力を得る。 一方、異種相互作用データとは異なり、モデルキャパシティを高めるために無制限に制御可能なマルコフ連鎖が利用可能である。 従来の推奨事前学習と最近の言語事前学習パラダイムよりもマルコフ事前学習の方が優れていることを検証するため、3つの異なるプラットフォームからの5つの公開データセットについて広範な実験を行った。

関連論文リスト

• Next-Latent Prediction Transformers Learn Compact World Models [33.499164089236444]
  Next-Latent Predictionは、潜在空間における自己教師付き予測によって、標準的な次世代トレーニングを拡張する。 NextLatは、ダウンストリームの正確性、表現圧縮、ルックアヘッド計画における標準的な次世代トレーニングよりも大幅に向上している。
  論文  参考訳（メタデータ） (2025-11-08T10:41:26Z)
• A Probabilistic Semi-Supervised Approach with Triplet Markov Chains [1.000779758350696]
  トリプルトマルコフ連鎖はシーケンシャルデータの一般的な生成モデルである。 パラメータ化マルコフ連鎖モデルを訓練するための変分ベイズ推定に基づく一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-07T13:34:20Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
  Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。 本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。 我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
  論文  参考訳（メタデータ） (2022-01-16T12:38:45Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Probabilistic Attention for Interactive Segmentation [0.0]
  変圧器における標準的な点積注意は,最大Aポストエリオーリ(MAP)推論の特別な場合であることを示す。 提案手法は,キーおよび値モデルパラメータのオンライン適応に期待値最大化アルゴリズムを用いることを提案する。
  論文  参考訳（メタデータ） (2021-06-23T00:19:43Z)
• Video Prediction via Example Guidance [156.08546987158616]
  ビデオ予測タスクでは、将来のコンテンツとダイナミクスのマルチモーダルな性質を捉えることが大きな課題である。 本研究では,有効な将来状態の予測を効果的に行うための,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:57:24Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。