論文の概要: MMGRid: Navigating Temporal-aware and Cross-domain Generative Recommendation via Model Merging

• arxiv url: http://arxiv.org/abs/2601.15930v1
• Date: Thu, 22 Jan 2026 13:09:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.605993
• Title: MMGRid: Navigating Temporal-aware and Cross-domain Generative Recommendation via Model Merging
• Title（参考訳）: MMGRid: モデルマージによる時間認識とドメイン間生成勧告のナビゲート
• Authors: Tianjun Wei, Enneng Yang, Yingpeng Du, Huizhong Guo, Jie Zhang, Zhu Sun,
• Abstract要約: ジェネレーティブレコメンデーション(GR)はレコメンデーションシステム(RS)の新しいパラダイムとして登場した。 私たちは、現実世界のさまざまな文脈に特化して、生成的推奨者をマージする方法という、現実の世界における根本的な、未解明の課題に焦点を合わせます。 本稿では,さまざまなコンテキスト下で訓練されたモデルを整理する,GRチェックポイントの構造化されたコンテキストグリッドであるMMGRidを提案する。
• 参考スコア（独自算出の注目度）: 22.681048070167765
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Model merging (MM) offers an efficient mechanism for integrating multiple specialized models without access to original training data or costly retraining. While MM has demonstrated success in domains like computer vision, its role in recommender systems (RSs) remains largely unexplored. Recently, Generative Recommendation (GR) has emerged as a new paradigm in RSs, characterized by rapidly growing model scales and substantial computational costs, making MM particularly appealing for cost-sensitive deployment scenarios. In this work, we present the first systematic study of MM in GR through a contextual lens. We focus on a fundamental yet underexplored challenge in real-world: how to merge generative recommenders specialized to different real-world contexts, arising from temporal evolving user behaviors and heterogeneous application domains. To this end, we propose a unified framework MMGRid, a structured contextual grid of GR checkpoints that organizes models trained under diverse contexts induced by temporal evolution and domain diversity. All checkpoints are derived from a shared base LLM but fine-tuned on context-specific data, forming a realistic and controlled model space for systematically analyzing MM across GR paradigms and merging algorithms. Our investigation reveals several key insights. First, training GR models from LLMs can introduce parameter conflicts during merging due to token distribution shifts and objective disparities; such conflicts can be alleviated by disentangling task-aware and context-specific parameter changes via base model replacement. Second, incremental training across contexts induces recency bias, which can be effectively balanced through weighted contextual merging. Notably, we observe that optimal merging weights correlate with context-dependent interaction characteristics, offering practical guidance for weight selection in real-world deployments.
• Abstract（参考訳）: モデルマージ(MM)は、オリジナルのトレーニングデータにアクセスしたり、コストのかかるトレーニングを行うことなく、複数の特別なモデルを統合するための効率的なメカニズムを提供する。 MMはコンピュータビジョンのような領域で成功したが、リコメンデーターシステム(RS)におけるその役割はほとんど解明されていない。 近年、ジェネレーティブ・レコメンデーション(GR)がRSの新しいパラダイムとして登場し、モデルスケールの急速な拡大と計算コストの大幅な増大が特徴であり、MMは特にコストに敏感なデプロイメントシナリオにアピールしている。 本研究では, GR における MM について, 文脈レンズを用いた最初の系統的研究を行う。 私たちは、時間的進化するユーザ行動と異種アプリケーションドメインから生じる、さまざまな現実世界のコンテキストに特化して生成的なレコメンデーションをマージする方法という、現実世界における根本的な未解明の課題に焦点を合わせます。 そこで本稿では,時間的進化とドメインの多様性によって学習された多様なコンテキスト下で学習されたモデルを整理する,GRチェックポイントの構造化されたコンテキストグリッドであるMMGRidを提案する。 全てのチェックポイントは共有ベースLLMから導出されるが、コンテキスト固有のデータに基づいて微調整され、GRパラダイムとマージアルゴリズムをまたいだMMを体系的に解析する現実的で制御されたモデル空間を形成する。 私たちの調査ではいくつかの重要な洞察が浮かび上がっている。 第一に、LLMからのGRモデルのトレーニングは、トークン分布シフトと目的差によるマージ中にパラメータコンフリクトを導入することができ、これらのコンフリクトは、ベースモデル置換を介してタスク認識とコンテキスト固有のパラメータ変更をアンタングリングすることで軽減することができる。 第2に、コンテキストを越えた漸進的なトレーニングは、重み付けされたコンテキストマージを通じて効果的にバランスをとることができる、依存性バイアスを誘発する。 特に、最適マージ重みは文脈依存的な相互作用特性と相関し、実世界の展開における重み選択の実践的ガイダンスを提供する。

関連論文リスト

• Co-GRPO: Co-Optimized Group Relative Policy Optimization for Masked Diffusion Model [74.99242687133408]
  Masked Diffusion Models (MDMs) は、視覚、言語、モーダル・ジェネレーションにまたがる有望な可能性を示している。 本稿では,MDM生成をMDP(Markov Decision Process)として再構成し,モデルと推論スケジュールを併用するCo-GRPOを提案する。
  論文  参考訳（メタデータ） (2025-12-25T12:06:04Z)
• Understanding Generative Recommendation with Semantic IDs from a Model-scaling View [57.471604518714535]
  Generative Recommendation (GR)は、リッチアイテムのセマンティクスと協調フィルタリング信号を統合する。 一般的なアプローチの1つは、セマンティックID(SID)を使用して、自動回帰ユーザーインタラクションシーケンスモデリングのセットアップでアイテムを表現することである。 SIDをベースとしたGRは,モデルをスケールアップしながら大きなボトルネックを示す。 我々は、大規模言語モデル(LLM)を直接レコメンデーションとして使用する別のGRパラダイムを再考する。
  論文  参考訳（メタデータ） (2025-09-29T21:24:17Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Single Domain Generalization with Model-aware Parametric Batch-wise Mixup [22.709796153794507]
  単一ドメインの一般化は、マシンラーニングの分野において、依然として深刻な課題である。 本稿では,モデル認識型パラメトリックバッチ・ワイド・ミックスアップ(Parametric Batch-wise Mixup)と呼ばれる新しいデータ拡張手法を提案する。 機能間相関を利用することで、パラメータ化されたミックスアップジェネレータは、複数のインスタンスにまたがる機能の組み合わせにおいて、さらなる汎用性を導入する。
  論文  参考訳（メタデータ） (2025-02-22T03:45:18Z)
• DPGIIL: Dirichlet Process-Deep Generative Model-Integrated Incremental Learning for Clustering in Transmissibility-based Online Structural Anomaly Detection [0.34376560669160394]
  本研究では、ディリクレプロセスディープ生成モデル統合インクリメンタルラーニング(DPGIIL)と呼ばれる新しいクラスタリングフレームワークを提案する。 オンライン構造異常検出では、DPGIILは入力データを新しいクラスタに動的に割り当てることで異常を検出するだけでなく、異なるクラスタを使って異なる構造状態を示すことができる。
  論文  参考訳（メタデータ） (2024-12-06T05:18:58Z)
• Pistis-RAG: Enhancing Retrieval-Augmented Generation with Human Feedback [41.88662700261036]
  RAGシステムは、セマンティックな関連性だけでは生成品質の向上を保証していない場合に制限に直面している。 我々は、LLMと人間の嗜好をよりよく整合させるために、コンテンツ中心のアプローチで設計された新しいRAGフレームワークであるPristis-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:52:11Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。