論文の概要: Generating Model Parameters for Controlling: Parameter Diffusion for Controllable Multi-Task Recommendation

• arxiv url: http://arxiv.org/abs/2410.10639v1
• Date: Mon, 14 Oct 2024 15:50:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 13:03:13.159648
• Title: Generating Model Parameters for Controlling: Parameter Diffusion for Controllable Multi-Task Recommendation
• Title（参考訳）: 制御のためのモデルパラメータの生成:制御可能なマルチタスク勧告のためのパラメータ拡散
• Authors: Chenglei Shen, Jiahao Zhao, Xiao Zhang, Weijie Yu, Ming He, Jianping Fan,
• Abstract要約: PaDiRecは、リトレーニングなしで、リコメンデーションモデルパラメータを新しいタスク要求にカスタマイズおよび適応することを可能にする。 パラメータ生成として拡散モデルを用い、条件付きトレーニングにおいてアダプタフリーガイダンスを用いて最適化されたモデルパラメータの分布を学習する。 モデルに依存しないアプローチとして、PaDiRecは既存のレコメンデーションモデルをバックボーンとして利用して、コントロール性を高めることができる。
• 参考スコア（独自算出の注目度）: 8.77762056359264
• License:
• Abstract: Commercial recommender systems face the challenge that task requirements from platforms or users often change dynamically (e.g., varying preferences for accuracy or diversity). Ideally, the model should be re-trained after resetting a new objective function, adapting to these changes in task requirements. However, in practice, the high computational costs associated with retraining make this process impractical for models already deployed to online environments. This raises a new challenging problem: how to efficiently adapt the learning model to different task requirements by controlling model parameters after deployment, without the need for retraining. To address this issue, we propose a novel controllable learning approach via Parameter Diffusion for controllable multi-task Recommendation (PaDiRec), which allows the customization and adaptation of recommendation model parameters to new task requirements without retraining. Specifically, we first obtain the optimized model parameters through adapter tunning based on the feasible task requirements. Then, we utilize the diffusion model as a parameter generator, employing classifier-free guidance in conditional training to learn the distribution of optimized model parameters under various task requirements. Finally, the diffusion model is applied to effectively generate model parameters in a test-time adaptation manner given task requirements. As a model-agnostic approach, PaDiRec can leverage existing recommendation models as backbones to enhance their controllability. Extensive experiments on public datasets and a dataset from a commercial app, indicate that PaDiRec can effectively enhance controllability through efficient model parameter generation. The code is released at https://anonymous.4open.science/r/PaDiRec-DD13.
• Abstract（参考訳）: 商用レコメンデータシステムは、プラットフォームやユーザからのタスク要求が動的に変化する(例えば、精度や多様性の異なる好み)という課題に直面します。 理想的には、モデルは新しい目的関数をリセットした後、これらのタスク要求の変化に適応して再訓練されるべきです。 しかし、実際には、再訓練に伴う計算コストが高いため、既にオンライン環境にデプロイされているモデルでは、このプロセスは実行不可能である。 再トレーニングを必要とせずに、デプロイ後のモデルパラメータを制御することによって、学習モデルを異なるタスク要求に効率的に適応する方法。 そこで本研究では,制御可能なマルチタスクレコメンデーション(PaDiRec)のためのパラメータ拡散を用いた新しい制御可能な学習手法を提案する。 具体的には、まず、実行可能なタスク要求に基づいて、アダプタタニングにより最適化されたモデルパラメータを得る。 そして,パラメータ生成モデルとして拡散モデルを用い,条件付き学習におけるクラス化自由指導を用いて,様々なタスク条件下で最適化されたモデルパラメータの分布を学習する。 最後に、拡散モデルを適用し、タスク要求に応じてテスト時間適応方式でモデルパラメータを効果的に生成する。 モデルに依存しないアプローチとして、PaDiRecは既存のレコメンデーションモデルをバックボーンとして利用して、コントロール性を高めることができる。 パブリックデータセットと商用アプリからのデータセットに関する大規模な実験は、PaDiRecが効率的なモデルパラメータ生成を通じて制御性を効果的に向上できることを示している。 コードはhttps://anonymous.4open.science/r/PaDiRec-DD13で公開されている。

関連論文リスト

• Meta-Learning Adaptable Foundation Models [37.458141335750696]
  本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。 この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。 次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
  論文  参考訳（メタデータ） (2024-10-29T17:24:18Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Earning Extra Performance from Restrictive Feedbacks [41.05874087063763]
  モデルチューニング問題の形式を記述するために,rerestriCTive feeddbacks (EXPECTED) から emphEarning eXtra PerformancE という課題を設定した。 モデルプロバイダの目標は、最終的にフィードバックを利用することで、ローカルユーザに対して満足のいくモデルを提供することです。 本稿では,パラメータ分布を探索し,モデルパラメータに関するモデル性能の幾何を特徴付けることを提案する。
  論文  参考訳（メタデータ） (2023-04-28T13:16:54Z)
• Meta-Learning the Difference: Preparing Large Language Models for Efficient Adaptation [11.960178399478718]
  大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。 その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
  論文  参考訳（メタデータ） (2022-07-07T18:00:22Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。