論文の概要: Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2607.25366v1
• Date: Tue, 28 Jul 2026 07:17:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.742218
• Title: Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation
• Title（参考訳）: LLMを用いたクロスドメインシーケンスレコメンデーションのためのシャープネスを考慮したSalienceリカバリモデルの構築
• Abstract要約: 本稿では,統合モデルの性能上限を引き上げるためのフレームワークSharpRecを提案する。 デュアルドメインとマルチドメインの両方のシナリオの実験は、SharpRecが一貫して最先端のベースラインを上回っていることを示している。
• 参考スコア（独自算出の注目度）: 17.675533338059093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based Cross-Domain Sequential Recommendation (CDSR) leverages LLMs to enhance target performance via deep semantic reasoning, alleviating the dependency on overlapping users. Among LLM-based paradigms, model merging is particularly promising for multi-domain scenarios due to its superior scalability and flexibility in integrating diverse knowledge sources. However, our empirical investigations reveal two critical bottlenecks: (1) cross-domain knowledge conflict; and (2) performance saturation in multi-domain fusion. Our analysis attributes these phenomena to parameter-level misalignment and statistical homogenization during the merging process. To address these bottlenecks, we propose SharpRec, Sharpness-aware Model Merging with Salience Recovery for LLM-based CDSR, a framework designed to lift the performance upper bound of merged models. SharpRec incorporates two synergistic modules: Sharpness-aware Geometric Alignment to establish a stable geometric foundation for interference-free fusion; and Preference Salience Activation to effectively recover the distinctive features essential for bolstering target domain performance. Extensive experiments in both dual-domain and multi-domain scenarios demonstrate that SharpRec consistently outperforms state-of-the-art baselines.
• Abstract（参考訳）: LLMベースのCross-Domain Sequential Recommendation (CDSR)は、LLMを活用して、深いセマンティック推論を通じてターゲットパフォーマンスを高め、重複するユーザへの依存性を軽減する。 LLMベースのパラダイムの中で、モデルマージは様々な知識ソースを統合する上で優れたスケーラビリティと柔軟性のため、特にマルチドメインシナリオにおいて有望である。 しかし,本研究では,(1)クロスドメイン知識の相反,(2)マルチドメイン融合における性能飽和の2つの重要なボトルネックを明らかにした。 本分析は,これらの現象を,融合過程におけるパラメータレベルの不整合と統計的均質化に起因している。 これらのボトルネックに対処するために, LLM ベース CDSR のための SharpRec, Sharpness-aware Model Merging with Salience Recovery を提案する。 SharpRecは2つの相乗的モジュールを組み込んでいる: Sharpness-aware Geometric Alignmentは干渉のない融合のための安定な幾何学的基盤を確立する。 デュアルドメインとマルチドメインの両方のシナリオにおける大規模な実験は、SharpRecが一貫して最先端のベースラインを上回っていることを示している。

関連論文リスト

• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Break the Optimization Barrier of LLM-Enhanced Recommenders: A Theoretical Analysis and Practical Framework [5.68373404216548]
  Training-Friendly LLM-Enhanced Recommender (TF-LLMER)は、2つの主要なコンポーネントを持つ軽量フレームワークである。 Rec-PCAはコラボレーティブな構造を表現変換に注入するレコメンデーション対応次元減少法である。 TF-LLMERは最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2026-04-22T12:22:47Z)
• PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging [80.17966517536102]
  マルチモーダル大規模言語モデルの事前学習の核心は、効果的なクロスモーダルアライメントの確立にあると論じる。 この知見に触発されて,マルチモーダル事前学習から学んだクロスモーダルアライメント機能を統合することを目的とした,アライメント後のマージタスクを導入する。 クロスモーダルプロジェクタのためのアライメント後マージフレームワークであるPivotMergeを提案する。
  論文  参考訳（メタデータ） (2026-04-18T09:38:03Z)
• CoLLM: A Unified Framework for Co-execution of LLMs Federated Fine-tuning and Inference [33.14453252489961]
  CoLLMは、FL PEFTと共有エッジレプリカとモデルパラメータの推論を統一するシステムである。 常に最先端のLLMシステムより優れており、最大で3倍高い出力を実現している。
  論文  参考訳（メタデータ） (2026-03-31T09:49:47Z)
• FeDecider: An LLM-Based Framework for Federated Cross-Domain Recommendation [75.50721642765994]
  大規模言語モデル(LLM)ベースのレコメンデーションモデルは、素晴らしいパフォーマンスを示している。 We propose a LLM-based framework for Federated cross- domain recommendation, FeDecider。 多様なデータセットにわたる大規模な実験により、提案したFeDeciderの有効性が検証された。
  論文  参考訳（メタデータ） (2026-02-17T21:42:28Z)
• WeaveRec: An LLM-Based Cross-Domain Sequential Recommendation Framework with Model Merging [24.949880939628386]
  WeaveRecは、複数のLoRAモジュールにソースとターゲットのドメインデータをウィービング形式で相互にトレーニングする。 WeaveRecは、ターゲットドメインにおける期待されるエラーの上限を下げることができるという理論的な保証を提供する。
  論文  参考訳（メタデータ） (2025-10-30T14:37:15Z)
• Empowering Large Language Model for Sequential Recommendation via Multimodal Embeddings and Semantic IDs [28.752042722391934]
  シークエンシャルレコメンデーション(SR)は,ユーザの動的関心や時系列パターンを過去のインタラクションに基づいて捉えることを目的としている。 MME-SIDは多モード埋め込みと量子埋め込みを統合し、埋め込み崩壊を緩和する。 3つの公開データセットに対する大規模な実験により、MME-SIDの優れた性能が検証された。
  論文  参考訳（メタデータ） (2025-09-02T07:02:29Z)
• LLM2Rec: Large Language Models Are Powerful Embedding Models for Sequential Recommendation [49.78419076215196]
  シーケンスレコメンデーションは、類似したユーザやアイテムの履歴行動から協調フィルタリング(CF)信号をモデル化することで、ユーザの将来のインタラクションを予測することを目的としている。 従来のシーケンシャルなレコメンダは、高次の共起パターンを通じてCF信号をキャプチャするIDベースの埋め込みに依存している。 大規模言語モデル(LLM)の最近の進歩は、テキスト記述からアイテム表現を導出するテキストベースのレコメンデーションアプローチを動機付けている。 理想的な埋め込みモデルは、ドメイン内およびドメイン外のレコメンデーションパフォーマンスを改善するために、CF信号とリッチなセマンティック表現をシームレスに統合すべきである、と我々は主張する。
  論文  参考訳（メタデータ） (2025-06-16T13:27:06Z)
• Alignment of large language models with constrained learning [93.2264691508005]
  本研究では,制約付きアライメント問題に対する最適大言語モデル (LLM) ポリシーの計算問題について検討する。 我々はラグランジアン双対性を用いて、ラグランジアンによるポリシーの更新と双対降下による双対変数の更新を交互に交互に行う反復的双対ベースアライメント法を開発する。
  論文  参考訳（メタデータ） (2025-05-26T01:04:56Z)
• Synthetic Data Augmentation for Cross-domain Implicit Discourse Relation Recognition [11.154829751558006]
  暗黙の談話関係認識(IDRR)は深い意味理解を必要とする。 近年の研究では、ゼロショットまたは少数ショットのアプローチが教師付きモデルに大きく遅れていることが示されている。 このアプローチをクロスドメイン設定に適用し、未ラベルなターゲットドメインデータを用いて談話継続を生成する。 大規模なテストセットで行った評価では、アプローチの異なるバリエーションが大きな改善をもたらすことはないことが判明した。
  論文  参考訳（メタデータ） (2025-03-26T14:41:04Z)
• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。