論文の概要: Extracting Essential and Disentangled Knowledge for Recommendation Enhancement

• arxiv url: http://arxiv.org/abs/2406.00012v1
• Date: Mon, 20 May 2024 09:24:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-09 16:19:21.706031
• Title: Extracting Essential and Disentangled Knowledge for Recommendation Enhancement
• Title（参考訳）: 勧告強化のための本質的・遠方的知識の抽出
• Authors: Kounianhua Du, Jizheng Chen, Jianghao Lin, Menghui Zhu, Bo Chen, Shuai Li, Ruiming Tang,
• Abstract要約: 次に、パラメトリックな知識ベースを通じて古いデータを記憶し、膨大な量の生データをモデルパラメータに圧縮する。 本質的な原理は、入力をタスク関連情報をキャプチャする代表ベクトルに圧縮するのに役立つ。 アンタングル化原理は、格納された情報の冗長性を低減し、アンタングル化不変パターンのキャプチャにフォーカスする知識ベースをプッシュする。
• 参考スコア（独自算出の注目度）: 27.564240779045733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recommender models play a vital role in various industrial scenarios, while often faced with the catastrophic forgetting problem caused by the fast shifting data distribution, e.g., the evolving user interests, click signals fluctuation during sales promotions, etc. To alleviate this problem, a common approach is to reuse knowledge from the historical data. However, preserving the vast and fast-accumulating data is hard, which causes dramatic storage overhead. Memorizing old data through a parametric knowledge base is then proposed, which compresses the vast amount of raw data into model parameters. Despite the flexibility, how to improve the memorization and generalization capabilities of the parametric knowledge base is challenging. In this paper, we propose two constraints to extract Essential and Disentangled Knowledge from past data for rational and generalized recommendation enhancement, which improves the capabilities of the parametric knowledge base without increasing the size of it. The essential principle helps to compress the input into representative vectors that capture the task-relevant information and filter out the noisy information. The disentanglement principle reduces the redundancy of stored information and pushes the knowledge base to focus on capturing the disentangled invariant patterns. These two rules together promote rational compression of information for robust and generalized knowledge representations. Extensive experiments on two datasets justify the effectiveness of the proposed method.
• Abstract（参考訳）: 様々な産業シナリオにおいて、リコメンダモデルは重要な役割を担っているが、高速なシフトデータ配信、ユーザの興味の進化、販売プロモーション中のクリック信号の変動などによって引き起こされる悲惨な忘れ問題に直面していることが多い。 この問題を緩和するためには、歴史的データから知識を再利用するのが一般的なアプローチである。 しかし、巨大かつ高速に蓄積されたデータの保存は困難であり、劇的なストレージオーバーヘッドを引き起こす。 次に、パラメトリックな知識ベースを通じて古いデータを記憶し、膨大な量の生データをモデルパラメータに圧縮する。 柔軟性にも拘わらず、パラメトリック知識基盤の記憶と一般化能力を改善する方法は困難である。 本稿では,従来のデータから本質的知識と不整合的知識を抽出する2つの制約を提案する。 本質的な原理は、入力を代表ベクトルに圧縮し、タスク関連情報をキャプチャし、ノイズのある情報をフィルタリングするのに役立つ。 アンタングル化原理は、格納された情報の冗長性を低減し、アンタングル化不変パターンのキャプチャにフォーカスする知識ベースをプッシュする。 これら2つのルールは、堅牢で一般化された知識表現のための情報の合理的な圧縮を促進する。 2つのデータセットに対する大規模な実験は,提案手法の有効性を正当化するものである。

関連論文リスト

• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources [12.783393023641505]
  我々は、MATTERと呼ばれる効率的なメモリ拡張変換器を導入する。 MATTERは、固定長のニューラルメモリの形で、非構造化ソース(パラグラフ)と半構造化ソース(QAペア)の両方から読み取る。 提案モデルでは,従来のQAベンチマークにおいて,精度と速度の両面で,既存の効率的な検索強化モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:35:37Z)
• Function-space Parameterization of Neural Networks for Sequential Learning [22.095632118886225]
  逐次学習パラダイムは、新しいデータの導入と事前知識の維持が困難であるため、勾配に基づくディープラーニングに課題を提起する。 本稿では,ニューラルネットワークを重み空間から関数空間に変換する手法を提案する。 実験により,継続学習における知識を保ち,新しいデータを効率的に活用できることが実証された。
  論文  参考訳（メタデータ） (2024-03-16T14:00:04Z)
• Fine-Grained Stateful Knowledge Exploration: A Novel Paradigm for Integrating Knowledge Graphs with Large Language Models [19.049828741139425]
  大きな言語モデル(LLM)は印象的な能力を示していますが、その知識を更新することは大きな課題です。 既存のほとんどのメソッドは、質問を目的として扱うパラダイムを使用し、関連する知識は知識グラフから漸進的に取得される。 本稿では,情報粒度ミスマッチ問題に対処する,微粒なステートフル知識探索のための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-01-24T13:36:50Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• MetAug: Contrastive Learning via Meta Feature Augmentation [28.708395209321846]
  対照的な学習は、情報的特徴、すなわち「堅い」(肯定的または否定的な)特徴に大きく依存している、と我々は主張する。 このような特徴を探索する上で重要な課題は、ランダムなデータ拡張を適用することで、ソースのマルチビューデータを生成することである。 本稿では,潜在空間における特徴を直接拡張し,大量の入力データなしで識別表現を学習することを提案する。
  論文  参考訳（メタデータ） (2022-03-10T02:35:39Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。