論文の概要: Bridging Domain Gaps between Pretrained Multimodal Models and Recommendations
- arxiv url: http://arxiv.org/abs/2502.15542v1
- Date: Fri, 21 Feb 2025 15:50:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-24 16:10:06.994045
- Title: Bridging Domain Gaps between Pretrained Multimodal Models and Recommendations
- Title（参考訳）: 事前訓練されたマルチモーダルモデルと勧告の間のブリッジングドメインギャップ
- Authors: Wenyu Zhang, Jie Luo, Xinming Zhang, Yuan Fang,
- Abstract要約: textbfPTMRecは、事前訓練されたモデルとレコメンデーションシステムの間のドメインギャップを埋める新しいフレームワークである。
このフレームワークは、コストのかかる事前トレーニングの必要性をなくすだけでなく、様々なパラメータ効率のチューニング方法にも柔軟に対応する。
- 参考スコア（独自算出の注目度）: 12.79899622986449
- License:
- Abstract: With the explosive growth of multimodal content online, pre-trained visual-language models have shown great potential for multimodal recommendation. However, while these models achieve decent performance when applied in a frozen manner, surprisingly, due to significant domain gaps (e.g., feature distribution discrepancy and task objective misalignment) between pre-training and personalized recommendation, adopting a joint training approach instead leads to performance worse than baseline. Existing approaches either rely on simple feature extraction or require computationally expensive full model fine-tuning, struggling to balance effectiveness and efficiency. To tackle these challenges, we propose \textbf{P}arameter-efficient \textbf{T}uning for \textbf{M}ultimodal \textbf{Rec}ommendation (\textbf{PTMRec}), a novel framework that bridges the domain gap between pre-trained models and recommendation systems through a knowledge-guided dual-stage parameter-efficient training strategy. This framework not only eliminates the need for costly additional pre-training but also flexibly accommodates various parameter-efficient tuning methods.
- Abstract（参考訳）: オンラインのマルチモーダルコンテンツの爆発的な成長に伴い、事前学習されたビジュアル言語モデルはマルチモーダルレコメンデーションに大きな可能性を示している。
しかし,これらのモデルでは,事前学習とパーソナライズドレコメンデーションの間に大きなドメインギャップ(例えば,特徴分散の相違やタスク目的のミスアライメント)があるため,凍結した方法で適用すると十分なパフォーマンスが得られるが,代わりに共同トレーニングアプローチを採用することで,ベースラインよりもパフォーマンスが悪くなる。
既存のアプローチは、単純な特徴抽出に依存するか、計算に高価なフルモデルの微調整を必要とするか、効率と効率のバランスをとるのに苦労している。
これらの課題に対処するため、知識誘導型2段階パラメータ効率学習戦略により、事前学習されたモデルとレコメンデーションシステムの間のドメインギャップを埋める新しいフレームワークである \textbf{P}arameter-efficient \textbf{T}uning for \textbf{M}ultimodal \textbf{Rec}ommendation (\textbf{PTMRec})を提案する。
このフレームワークは、コストのかかる事前トレーニングの必要性をなくすだけでなく、様々なパラメータ効率のチューニング方法にも柔軟に対応する。
関連論文リスト
- On-the-fly Preference Alignment via Principle-Guided Decoding [27.50204023448716]
モデル出力を推論中に人間の好みに合わせるために、OPAD(Principle-Guided Decoding)によるオンザフライの優先度アライメントを導入する。
OPADは、一般的なタスクとパーソナライズされたアライメントタスクの両方において、競争力または優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-02-20T02:23:09Z) - LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。
我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
論文 参考訳（メタデータ） (2025-02-15T10:18:46Z) - Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。
この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
論文 参考訳（メタデータ） (2025-02-11T13:10:34Z) - Meta-Learning Adaptable Foundation Models [37.458141335750696]
本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。
この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。
次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
論文 参考訳（メタデータ） (2024-10-29T17:24:18Z) - Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。
事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。
次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文 参考訳（メタデータ） (2024-08-21T06:48:38Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-12-16T17:13:08Z) - Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared
Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。
また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。
その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文 参考訳（メタデータ） (2023-10-19T15:13:58Z) - Towards All-in-one Pre-training via Maximizing Multi-modal Mutual
Information [77.80071279597665]
マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。
提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-11-17T18:59:49Z) - Self-Supervised Primal-Dual Learning for Constrained Optimization [19.965556179096385]
本稿では,制約付き最適化問題の最適解を直接近似する機械学習モデルの訓練方法を検討する。
プリマル・デュアル・ラーニング(PDL, Primal-Dual Learning)は,事前解決した一連のインスタンスや,学習と推論のための最適化解法を必要としない自己指導型トレーニング手法である。
論文 参考訳（メタデータ） (2022-08-18T20:07:10Z) - Revisiting Design Choices in Model-Based Offline Reinforcement Learning [39.01805509055988]
オフライン強化学習により、エージェントは環境遷移の大規模な収集済みデータセットを利用して制御ポリシーを学習することができる。
本稿では、モデル数や仮想ロールアウト地平線など、他のハイパーパラメータとの相互作用を研究するための新しいプロトコルを比較し、設計する。
論文 参考訳（メタデータ） (2021-10-08T13:51:34Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。