論文の概要: FINED: Feed Instance-Wise Information Need with Essential and Disentangled Parametric Knowledge from the Past

• arxiv url: http://arxiv.org/abs/2406.00012v2
• Date: Fri, 18 Oct 2024 06:07:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:14.301562
• Title: FINED: Feed Instance-Wise Information Need with Essential and Disentangled Parametric Knowledge from the Past
• Title（参考訳）: FINED:過去における本質的・遠方的パラメトリック知識によるフィード・インスタンス・ウィズ・インフォメーションの必要性
• Authors: Kounianhua Du, Jizheng Chen, Jianghao Lin, Menghui Zhu, Bo Chen, Shuai Li, Yong Yu, Weinan Zhang,
• Abstract要約: 提案するFINED to Feed Instance-wise information need with Essential and Disentangled parametric knowledge from past data for recommendation enhancement。 我々は,過去のデータから任意の順序の知識パターンを抽出する知識抽出器と,任意の順序パターンを記憶する知識エンコーダを訓練する。 プロセス全体は提案した2つの制約によって規則化され、パラメトリック知識ベースの性能は、そのサイズを増大させることなく向上する。
• 参考スコア（独自算出の注目度）: 33.4236467300294
• License:
• Abstract: Recommender models play a vital role in various industrial scenarios, while often faced with the catastrophic forgetting problem caused by the fast shifting data distribution. To alleviate this problem, a common approach is to reuse knowledge from the historical data. However, preserving the vast and fast-accumulating data is hard, which causes dramatic storage overhead. Memorizing old data through a parametric knowledge base is then proposed, which compresses the vast amount of raw data into model parameters. Despite the flexibility, how to improve the memorization and generalization capabilities of the parametric knowledge base and suit the flexible information need of each instance are challenging. In this paper, we propose FINED to Feed INstance-wise information need with Essential and Disentangled parametric knowledge from past data for recommendation enhancement. Concretely, we train a knowledge extractor that extracts knowledge patterns of arbitrary order from past data and a knowledge encoder that memorizes the arbitrary order patterns, which serves as the retrieval key generator and memory network respectively in the following knowledge reusing phase. The whole process is regularized by the proposed two constraints, which improve the capabilities of the parametric knowledge base without increasing the size of it. The essential principle helps to compress the input into representative vectors that capture the task-relevant information and filter out the noisy information. The disentanglement principle reduces the redundancy of stored information and pushes the knowledge base to focus on capturing the disentangled invariant patterns. These two rules together promote rational compression of information for robust and generalized knowledge representations. Extensive experiments on two datasets justify the effectiveness of the proposed method.
• Abstract（参考訳）: 様々な産業シナリオにおいて、レコメンダモデルは重要な役割を果たすが、高速なシフトデータ分布に起因する破滅的な忘れ問題に直面していることが多い。 この問題を緩和するためには、歴史的データから知識を再利用するのが一般的なアプローチである。 しかし、巨大かつ高速に蓄積されたデータの保存は困難であり、劇的なストレージオーバーヘッドを引き起こす。 次に、パラメトリックな知識ベースを通じて古いデータを記憶し、膨大な量の生データをモデルパラメータに圧縮する。 柔軟性にもかかわらず、パラメトリック知識ベースの記憶と一般化能力を改善し、各インスタンスの柔軟な情報要求に適合する方法は困難である。 本稿では,従来のデータから抽出した本質的・不整合なパラメトリック知識を用いて,インスタンス的な情報提供のためのFINEDを提案する。 具体的には、過去のデータから任意の順序の知識パターンを抽出する知識抽出器と、任意の順序パターンを記憶する知識符号化器を訓練する。 プロセス全体は提案した2つの制約によって規則化され、パラメトリック知識ベースの性能は、そのサイズを増大させることなく向上する。 本質的な原理は、入力を代表ベクトルに圧縮し、タスク関連情報をキャプチャし、ノイズのある情報をフィルタリングするのに役立つ。 アンタングル化原理は、格納された情報の冗長性を低減し、アンタングル化不変パターンのキャプチャにフォーカスする知識ベースをプッシュする。 これら2つのルールは、堅牢で一般化された知識表現のための情報の合理的な圧縮を促進する。 2つのデータセットに対する大規模な実験は,提案手法の有効性を正当化するものである。

関連論文リスト

• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources [12.783393023641505]
  我々は、MATTERと呼ばれる効率的なメモリ拡張変換器を導入する。 MATTERは、固定長のニューラルメモリの形で、非構造化ソース(パラグラフ)と半構造化ソース(QAペア)の両方から読み取る。 提案モデルでは,従来のQAベンチマークにおいて,精度と速度の両面で,既存の効率的な検索強化モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:35:37Z)
• Function-space Parameterization of Neural Networks for Sequential Learning [22.095632118886225]
  逐次学習パラダイムは、新しいデータの導入と事前知識の維持が困難であるため、勾配に基づくディープラーニングに課題を提起する。 本稿では,ニューラルネットワークを重み空間から関数空間に変換する手法を提案する。 実験により,継続学習における知識を保ち,新しいデータを効率的に活用できることが実証された。
  論文  参考訳（メタデータ） (2024-03-16T14:00:04Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• MetAug: Contrastive Learning via Meta Feature Augmentation [28.708395209321846]
  対照的な学習は、情報的特徴、すなわち「堅い」(肯定的または否定的な)特徴に大きく依存している、と我々は主張する。 このような特徴を探索する上で重要な課題は、ランダムなデータ拡張を適用することで、ソースのマルチビューデータを生成することである。 本稿では,潜在空間における特徴を直接拡張し,大量の入力データなしで識別表現を学習することを提案する。
  論文  参考訳（メタデータ） (2022-03-10T02:35:39Z)
• Federated Causal Discovery [74.37739054932733]
  本稿では,DAG-Shared Federated Causal Discovery (DS-FCD) という勾配学習フレームワークを開発する。 ローカルデータに直接触れることなく因果グラフを学習し、データの不均一性を自然に扱うことができる。 合成および実世界の両方のデータセットに対する大規模な実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2021-12-07T08:04:12Z)
• Class-Incremental Experience Replay for Continual Learning under Concept Drift [6.436899373275926]
  機械学習を扱う研究の2つの主な分野は、継続的学習とデータストリームマイニングである。 両タスクに対応可能な,新たな継続的学習手法を提案する。
  論文  参考訳（メタデータ） (2021-04-24T02:36:38Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。