論文の概要: Extracting Essential and Disentangled Knowledge for Recommendation Enhancement
- arxiv url: http://arxiv.org/abs/2406.00012v1
- Date: Mon, 20 May 2024 09:24:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-09 16:19:21.706031
- Title: Extracting Essential and Disentangled Knowledge for Recommendation Enhancement
- Title(参考訳): 勧告強化のための本質的・遠方的知識の抽出
- Authors: Kounianhua Du, Jizheng Chen, Jianghao Lin, Menghui Zhu, Bo Chen, Shuai Li, Ruiming Tang,
- Abstract要約: 次に、パラメトリックな知識ベースを通じて古いデータを記憶し、膨大な量の生データをモデルパラメータに圧縮する。
本質的な原理は、入力をタスク関連情報をキャプチャする代表ベクトルに圧縮するのに役立つ。
アンタングル化原理は、格納された情報の冗長性を低減し、アンタングル化不変パターンのキャプチャにフォーカスする知識ベースをプッシュする。
- 参考スコア(独自算出の注目度): 27.564240779045733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recommender models play a vital role in various industrial scenarios, while often faced with the catastrophic forgetting problem caused by the fast shifting data distribution, e.g., the evolving user interests, click signals fluctuation during sales promotions, etc. To alleviate this problem, a common approach is to reuse knowledge from the historical data. However, preserving the vast and fast-accumulating data is hard, which causes dramatic storage overhead. Memorizing old data through a parametric knowledge base is then proposed, which compresses the vast amount of raw data into model parameters. Despite the flexibility, how to improve the memorization and generalization capabilities of the parametric knowledge base is challenging. In this paper, we propose two constraints to extract Essential and Disentangled Knowledge from past data for rational and generalized recommendation enhancement, which improves the capabilities of the parametric knowledge base without increasing the size of it. The essential principle helps to compress the input into representative vectors that capture the task-relevant information and filter out the noisy information. The disentanglement principle reduces the redundancy of stored information and pushes the knowledge base to focus on capturing the disentangled invariant patterns. These two rules together promote rational compression of information for robust and generalized knowledge representations. Extensive experiments on two datasets justify the effectiveness of the proposed method.
- Abstract(参考訳): 様々な産業シナリオにおいて、リコメンダモデルは重要な役割を担っているが、高速なシフトデータ配信、ユーザの興味の進化、販売プロモーション中のクリック信号の変動などによって引き起こされる悲惨な忘れ問題に直面していることが多い。
この問題を緩和するためには、歴史的データから知識を再利用するのが一般的なアプローチである。
しかし、巨大かつ高速に蓄積されたデータの保存は困難であり、劇的なストレージオーバーヘッドを引き起こす。
次に、パラメトリックな知識ベースを通じて古いデータを記憶し、膨大な量の生データをモデルパラメータに圧縮する。
柔軟性にも拘わらず、パラメトリック知識基盤の記憶と一般化能力を改善する方法は困難である。
本稿では,従来のデータから本質的知識と不整合的知識を抽出する2つの制約を提案する。
本質的な原理は、入力を代表ベクトルに圧縮し、タスク関連情報をキャプチャし、ノイズのある情報をフィルタリングするのに役立つ。
アンタングル化原理は、格納された情報の冗長性を低減し、アンタングル化不変パターンのキャプチャにフォーカスする知識ベースをプッシュする。
これら2つのルールは、堅牢で一般化された知識表現のための情報の合理的な圧縮を促進する。
2つのデータセットに対する大規模な実験は,提案手法の有効性を正当化するものである。
関連論文リスト
- Joint Sensing, Communication, and AI: A Trifecta for Resilient THz User
Experiences [118.91584633024907]
テラヘルツ(THz)無線システムに対する拡張現実(XR)体験を最適化するために、新しい共同センシング、通信、人工知能(AI)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-29T00:39:50Z) - Implicit Counterfactual Data Augmentation for Deep Neural Networks [3.6397924689580745]
機械学習モデルは、非因果属性とクラスの間の急激な相関を捉える傾向にある。
本研究では,突発的相関を除去し,安定な予測を行う暗黙的対実データ拡張手法を提案する。
論文 参考訳(メタデータ) (2023-04-26T10:36:40Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - On-the-fly Denoising for Data Augmentation in Natural Language
Understanding [101.46848743193358]
よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。
本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
論文 参考訳(メタデータ) (2022-12-20T18:58:33Z) - Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。
データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。
この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文 参考訳(メタデータ) (2022-09-29T18:11:01Z) - MetAug: Contrastive Learning via Meta Feature Augmentation [28.708395209321846]
対照的な学習は、情報的特徴、すなわち「堅い」(肯定的または否定的な)特徴に大きく依存している、と我々は主張する。
このような特徴を探索する上で重要な課題は、ランダムなデータ拡張を適用することで、ソースのマルチビューデータを生成することである。
本稿では,潜在空間における特徴を直接拡張し,大量の入力データなしで識別表現を学習することを提案する。
論文 参考訳(メタデータ) (2022-03-10T02:35:39Z) - Compressed Predictive Information Coding [6.220929746808418]
我々は,動的データから有用な表現を抽出する新しい情報理論フレームワーク,Compressed Predictive Information Coding (CPIC) を開発した。
我々はCPIC損失の変動境界を導出し、最大予測可能な情報を取得するために潜時空間を誘導する。
我々はCPICが低信号対雑音比で雑音力学系の潜時空間を復元できることを実証した。
論文 参考訳(メタデータ) (2022-03-03T22:47:58Z) - Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。
まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。
次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
論文 参考訳(メタデータ) (2021-12-31T10:03:47Z) - Federated Causal Discovery [74.37739054932733]
本稿では,DAG-Shared Federated Causal Discovery (DS-FCD) という勾配学習フレームワークを開発する。
ローカルデータに直接触れることなく因果グラフを学習し、データの不均一性を自然に扱うことができる。
合成および実世界の両方のデータセットに対する大規模な実験により,提案手法の有効性が検証された。
論文 参考訳(メタデータ) (2021-12-07T08:04:12Z) - Representation Memorization for Fast Learning New Knowledge without
Forgetting [36.55736909586313]
新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。
新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。
本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
論文 参考訳(メタデータ) (2021-08-28T07:54:53Z) - A Quantitative Metric for Privacy Leakage in Federated Learning [22.968763654455298]
クライアントが勾配における情報漏洩の潜在的なリスクを評価するために、相互情報に基づく定量的指標を提案します。
情報漏洩のリスクは、タスクモデルの状態だけでなく、固有のデータ分布に関連していることが証明されています。
論文 参考訳(メタデータ) (2021-02-24T02:48:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。