論文の概要: CMSL: Constructive Multi-Sequence Learning for Recommendation Systems

• arxiv url: http://arxiv.org/abs/2606.28533v1
• Date: Fri, 26 Jun 2026 18:32:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.594186
• Title: CMSL: Constructive Multi-Sequence Learning for Recommendation Systems
• Title（参考訳）: CMSL:レコメンデーションシステムのための構成的マルチシーケンス学習
• Abstract要約: 自然言語とレコメンデーションデータの根本的な相違を観察する。 ユーザの旅は、さまざまな関心事の断片化された反映です。 単一シーケンスモデリングでは、無関係な振る舞いは同じ注意予算で競合する。 我々は、受動的シーケンスの取り込みからアクティブな"コンテキストエンジニアリング"へのパラダイムシフトである構成的マルチシーケンス学習(CMSL)を提案する。
• 参考スコア（独自算出の注目度）: 22.799530860712384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence learning has emerged as the promising paradigm in recommendation systems, surpassing traditional Deep Learning Recommendation Models (DLRM) by capturing the temporal nuances of user behavior. However, current state-of-the-art architectures operate under a limiting analogy: they treat user history as a monolithic chronological sequence like a sentence in a Large Language Model (LLM). We observe a fundamental divergence between natural language and recommendation data: unlike the linear, logical flow of text, user history is inherently multi-faceted. A user's journey is a fragmented reflection of diverse interests, resulting in much weaker coherence between items than is found in LLM training data. This lack of structural unity leads to context pollution. In single-sequence modeling, unrelated behaviors compete for the same attention budget. This "noisy" signal dilutes the model's focus, effectively capping its ability to discern high-intent patterns from background activity. To address this, we propose Constructive Multi-Sequence Learning (CMSL), a paradigm shift from passive sequence ingestion to active "context engineering" that constructs multiple coherent sequences in latent space. CMSL leverages a learnable Sequence Construction Module to disentangle user history into "pure" thematic strands, followed by a linear attention mechanism to efficiently model these strands at scale. CMSL has been deployed across ranking and retrieval tasks and across four major surfaces at Meta.
• Abstract（参考訳）: シーケンス学習は,ユーザの行動の時間的ニュアンスを捉えることによって,従来のディープラーニング勧告モデル(DLRM)を越え,レコメンデーションシステムにおいて有望なパラダイムとして浮上している。 しかし、現在の最先端アーキテクチャは、ユーザ履歴をLarge Language Model(LLM)の文のようなモノリシックな時系列シーケンスとして扱うという、限定的な類似の下で運用されている。 我々は、自然言語とレコメンデーションデータの根本的な相違を観察する: 線形で論理的なテキストの流れとは異なり、ユーザ履歴は本質的に多面的である。 ユーザの旅は、多様な関心事の断片化された反映であり、LLMトレーニングデータで見られるよりも、アイテム間のコヒーレンスがはるかに弱い。 この構造的統一性の欠如は、文脈汚染につながる。 単一シーケンスモデリングでは、無関係な振る舞いは同じ注意予算で競合する。 この「ノイズ」信号はモデルの焦点を希釈し、背景活動から高感度パターンを識別する能力を効果的に秘めている。 そこで本研究では,マルチシーケンス学習(CMSL, Constructive Multi-Sequence Learning)を提案する。 CMSLは学習可能なシーケンス構築モジュールを利用して、ユーザ履歴を「純粋な」テーマストランドに切り離し、続いて線形アテンション機構によってこれらのストランドを大規模に効率的にモデル化する。 CMSLはランキングと検索タスク、Metaの4つの主要なサーフェスにデプロイされている。

関連論文リスト

• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• LLMs Reading the Rhythms of Daily Life: Aligned Understanding for Behavior Prediction and Generation [53.62804271492357]
  大きな言語モデル(LLM)は、その意味的豊かさ、強い解釈可能性、生成能力により、有望な方向性を提供する。 本稿では,LLMを構造化カリキュラム学習プロセスを通じて人間行動モデリングに統合する,行動理解アライメント(BUA)を提案する。 BUAは、事前訓練された行動モデルからのシーケンス埋め込みをアライメントアンカーとして採用し、3段階のカリキュラムを通じてLLMをガイドし、マルチラウンドの対話設定では予測と生成機能を導入している。
  論文  参考訳（メタデータ） (2026-04-26T07:34:37Z)
• Nested Learning: The Illusion of Deep Learning Architectures [57.41377373511876]
  我々はNested Learning(NL)と呼ばれる新しい学習パラダイムを提案する。 表現的一般化は、実際には、深い記憶と/またはより強力な学習規則を持つ一般化である。 本稿では、長期記憶の伝統的な視点を一般化するメモリシステムのための新しい連続体を提案する。
  論文  参考訳（メタデータ） (2025-12-31T07:59:43Z)
• STELLA: Guiding Large Language Models for Time Series Forecasting with Semantic Abstractions [4.169671705130711]
  構造的補足情報や補足情報をマイニングし注入するフレームワークSTELLAを提案する。 StELLAは、入力系列をトレンド、季節性、残留成分に分解する動的セマンティック抽象化機構を採用している。 8つのベンチマークデータセットの実験により、STELLAは長期および短期予測において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-12-04T14:56:36Z)
• Data-Model Co-Evolution: Growing Test Sets to Refine LLM Behavior [10.041741229516141]
  大きな言語モデル(LLM)により、開発者はプロンプト命令を編集することでモデルの振る舞いを制御できる。 我々はこのパラダイムを対話型システムで運用し、微妙でドメイン固有のポリシーをインシデントインストラクションにエンコードするという課題に対処する。
  論文  参考訳（メタデータ） (2025-10-14T17:07:37Z)
• CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction [42.92011330807996]
  $textitCTR-Sink$は、レコメンデーションシナリオに適した振る舞いレベルの注意シンクを導入した、新しいフレームワークである。 注意シンク理論にヒントを得て、注意集中シンクを構築し、外部情報を介して注意集約を動的に制御する。
  論文  参考訳（メタデータ） (2025-08-05T17:30:34Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Multimodal Large Models Are Effective Action Anticipators [10.454791411515812]
  ActionLLMは、ビデオシーケンスを逐次トークンとして扱う新しいアプローチであり、将来のアクションを予測するために大規模言語モデルを活用する。 我々のベースラインモデルは、将来のトークンを設定し、アクションチューニングモジュールを導入し、テキストデコーダ層を線形層に減らし、LCMアーキテクチャを単純化する。 LLMのコモンセンス推論をさらに活用するために、観察されたフレームに対するアクションカテゴリを予測し、シーケンシャルな意味理解を導くためにシーケンシャルなテキスト手がかりを使用する。
  論文  参考訳（メタデータ） (2025-01-01T10:16:10Z)
• AdaCred: Adaptive Causal Decision Transformers with Feature Crediting [11.54181863246064]
  AdaCredは、短時間のアクション・リワード状態列から構築された因果グラフとして軌跡を表す新しいアプローチである。 実験により,AdaCredをベースとしたポリシでは,より短い軌道列が必要であり,オフライン強化学習と模倣学習環境の両方において従来手法よりも一貫して優れていたことが実証された。
  論文  参考訳（メタデータ） (2024-12-19T22:22:37Z)
• SimCS: Simulation for Domain Incremental Online Continual Segmentation [60.18777113752866]
  既存の継続学習アプローチは、主にクラス増分設定における画像分類に焦点を当てている。 シミュレーションデータを用いて連続学習を規則化するパラメータフリー手法であるSimCSを提案する。
  論文  参考訳（メタデータ） (2022-11-29T14:17:33Z)
• Temporal Feature Alignment in Contrastive Self-Supervised Learning for Human Activity Recognition [2.2082422928825136]
  自己教師付き学習は通常、ラベルのないデータから深い特徴表現を学習するために使用される。 本稿では,時間空間に動的時間ワープアルゴリズムを組み込んで,時間次元で特徴を整列させる手法を提案する。 提案されたアプローチは、最近のSSLベースラインと比較して、ロバストな特徴表現を学習する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2022-10-07T07:51:01Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。