論文の概要: CMML: Contextual Modulation Meta Learning for Cold-Start Recommendation

• arxiv url: http://arxiv.org/abs/2108.10511v1
• Date: Tue, 24 Aug 2021 03:45:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 14:12:03.430299
• Title: CMML: Contextual Modulation Meta Learning for Cold-Start Recommendation
• Title（参考訳）: CMML:コールドスタート勧告のためのコンテキスト変調メタ学習
• Authors: Xidong Feng, Chen Chen, Dong Li, Mengchen Zhao, Jianye Hao, Jun Wang
• Abstract要約: CMML(Contextal Modulation Meta Learning)と呼ばれる推薦フレームワークを提案する。 CMMLは完全なフィードフォワード操作で構成されており、計算効率が良く、主要な産業展開と完全に互換性がある。 実世界の様々なデータセット上で,シナリオ固有の設定とユーザ固有のコールドスタート設定の両方にアプローチを検証する。
• 参考スコア（独自算出の注目度）: 27.10619426913709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Practical recommender systems experience a cold-start problem when observed user-item interactions in the history are insufficient. Meta learning, especially gradient based one, can be adopted to tackle this problem by learning initial parameters of the model and thus allowing fast adaptation to a specific task from limited data examples. Though with significant performance improvement, it commonly suffers from two critical issues: the non-compatibility with mainstream industrial deployment and the heavy computational burdens, both due to the inner-loop gradient operation. These two issues make them hard to be applied in practical recommender systems. To enjoy the benefits of meta learning framework and mitigate these problems, we propose a recommendation framework called Contextual Modulation Meta Learning (CMML). CMML is composed of fully feed-forward operations so it is computationally efficient and completely compatible with the mainstream industrial deployment. CMML consists of three components, including a context encoder that can generate context embedding to represent a specific task, a hybrid context generator that aggregates specific user-item features with task-level context, and a contextual modulation network, which can modulate the recommendation model to adapt effectively. We validate our approach on both scenario-specific and user-specific cold-start setting on various real-world datasets, showing CMML can achieve comparable or even better performance with gradient based methods yet with much higher computational efficiency and better interpretability.
• Abstract（参考訳）: 実践的なレコメンデータシステムは、過去におけるユーザ・イテム間のインタラクションが不十分である場合、コールドスタートの問題を経験します。 メタ学習、特に勾配に基づく学習は、モデルの初期パラメータを学習することでこの問題に対処し、限られたデータ例から特定のタスクへの迅速な適応を可能にする。 性能が大幅に向上したにもかかわらず、主な産業展開との非互換性と、インナーループ勾配操作による計算負荷という2つの重大な問題に悩まされる。 これら2つの問題は,実用的なレコメンデーションシステムでは適用が困難である。 メタ学習フレームワークの利点を享受し、これらの問題を緩和するために、文脈変調メタ学習(cmml)と呼ばれる推奨フレームワークを提案する。 CMMLは完全なフィードフォワード操作で構成されており、計算効率が良く、主要な産業展開と完全に互換性がある。 CMMLは、特定のタスクを表現するためにコンテキストエンコーダを生成するコンテキストエンコーダ、タスクレベルのコンテキストで特定のユーザオブジェクトの特徴を集約するハイブリッドコンテキストジェネレータ、そして、効率的に適応するためにレコメンデーションモデルを変調できるコンテキスト変調ネットワークを含む3つのコンポーネントから構成される。 本手法は,様々な実世界のデータセット上でのシナリオ固有のコールドスタート設定とユーザ固有のコールドスタート設定の両方に対して検証し,より高い計算効率とより優れた解釈性を備えた勾配法でCMMLが同等あるいはそれ以上の性能を達成可能であることを示す。

関連論文リスト

• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models [16.16372459671255]
  大規模言語モデル(LLM)は通常、固定された計算予算を使用してトークンによって出力トークンを生成する。 LLMの各フィードフォワードネットワーク層に小さな補助モジュールを統合する新しいフレームワークを提案する。 訓練されたルータがオーラクルと異なる動作をしており、しばしば準最適解が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-01T16:10:21Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• LLM-CI: Assessing Contextual Integrity Norms in Language Models [1.1715858161748576]
  大規模言語モデル(LLM)は、社会的嗜好や規範を意図せずに符号化することができる。 これは、プロンプトの感度が$$$$小であることから特に困難である。 LLM-CIは、符号化された規範を評価するための最初のオープンソースフレームワークである。
  論文  参考訳（メタデータ） (2024-09-05T17:50:31Z)
• The Compressor-Retriever Architecture for Language Model OS [20.56093501980724]
  オペレーティングシステム(OS)のコアコンポーネントとして言語モデルを用いるという概念について検討する。 このようなLM OSを実現する上で重要な課題は、寿命の長いコンテキストを管理し、セッション間のステートフルネスを確保することだ。 本稿では,生涯のコンテキスト管理のために設計されたモデル非依存アーキテクチャであるコンプレッサー・レトリバーを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T23:28:15Z)
• Improved Diversity-Promoting Collaborative Metric Learning for Recommendation [127.08043409083687]
  CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。 本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T07:44:48Z)
• Multi-Modality Co-Learning for Efficient Skeleton-based Action Recognition [12.382193259575805]
  本稿では,効率的な骨格に基づく行動認識のための多モード協調学習(MMCL)フレームワークを提案する。 MMCLフレームワークは,トレーニング期間中に多要素協調学習を行い,推論に簡潔な骨格のみを用いることで効率を向上する。
  論文  参考訳（メタデータ） (2024-07-22T15:16:47Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• Deformable Mixer Transformer with Gating for Multi-Task Learning of Dense Prediction [126.34551436845133]
  CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。 本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-10T17:37:49Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。