論文の概要: TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2502.02854v2
• Date: Thu, 06 Feb 2025 08:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 10:50:05.117766
• Title: TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation
• Title（参考訳）: TD3: タッカー分解に基づくシークエンシャルレコメンデーションのためのデータセット蒸留法
• Authors: Jiaqing Zhang, Mingjia Yin, Hao Wang, Yawen Li, Yuyang Ye, Xingyu Lou, Junping Du, Enhong Chen,
• Abstract要約: 本稿では,メタラーニングフレームワークにおける textbfDataset textbfDistillation 手法である textbfTD3 を紹介する。 TD3は、オリジナルのデータから完全に表現力のある合成配列の要約を蒸留する。 拡張技術により、学習者は合成要約を忠実に適合させ、アンプループでの正確な更新を確実にすることができる。
• 参考スコア（独自算出の注目度）: 50.23504065567638
• License:
• Abstract: In the era of data-centric AI, the focus of recommender systems has shifted from model-centric innovations to data-centric approaches. The success of modern AI models is built on large-scale datasets, but this also results in significant training costs. Dataset distillation has emerged as a key solution, condensing large datasets to accelerate model training while preserving model performance. However, condensing discrete and sequentially correlated user-item interactions, particularly with extensive item sets, presents considerable challenges. This paper introduces \textbf{TD3}, a novel \textbf{T}ucker \textbf{D}ecomposition based \textbf{D}ataset \textbf{D}istillation method within a meta-learning framework, designed for sequential recommendation. TD3 distills a fully expressive \emph{synthetic sequence summary} from original data. To efficiently reduce computational complexity and extract refined latent patterns, Tucker decomposition decouples the summary into four factors: \emph{synthetic user latent factor}, \emph{temporal dynamics latent factor}, \emph{shared item latent factor}, and a \emph{relation core} that models their interconnections. Additionally, a surrogate objective in bi-level optimization is proposed to align feature spaces extracted from models trained on both original data and synthetic sequence summary beyond the na\"ive performance matching approach. In the \emph{inner-loop}, an augmentation technique allows the learner to closely fit the synthetic summary, ensuring an accurate update of it in the \emph{outer-loop}. To accelerate the optimization process and address long dependencies, RaT-BPTT is employed for bi-level optimization. Experiments and analyses on multiple public datasets have confirmed the superiority and cross-architecture generalizability of the proposed designs. Codes are released at https://github.com/USTC-StarTeam/TD3.
• Abstract（参考訳）: データ中心AIの時代、リコメンダシステムの焦点は、モデル中心のイノベーションからデータ中心のアプローチへとシフトしてきた。 現代のAIモデルの成功は、大規模なデータセット上に構築されている。 データセットの蒸留は重要なソリューションとして現れ、モデルパフォーマンスを維持しながらモデルのトレーニングを加速するために大きなデータセットを凝縮している。 しかし、離散的かつシーケンシャルに相関したユーザ・イテム相互作用を凝縮することは、特に広範囲なアイテムセットにおいて、かなりの課題を呈している。 本稿では,メタラーニングフレームワーク内での新規な \textbf{T}ucker \textbf{D}ecomposition に基づく \textbf{D}ataset \textbf{D}istillation 手法である \textbf{T}ucker \textbf{D}ecomposition を紹介する。 TD3 はオリジナルのデータから完全に表現可能な \emph{synthetic sequence summary} を蒸留する。 計算複雑性を効率的に減らし、洗練された潜在パターンを抽出するために、タッカー分解は要約を4つの因子に分解する: \emph{synthetic user latent factor}, \emph{temporal dynamics latent factor}, \emph{shared item latent factor}, \emph{relation core}。 さらに, 2レベル最適化における代用目的として, 原データと合成シーケンスの要約の両方で訓練されたモデルから抽出した特徴空間を, na\\ive 性能マッチングのアプローチを超えて整列する手法を提案する。 emph{inner-loop} では、学習者が合成要約を忠実に適合させ、その正確な更新を \emph{outer-loop} で保証する。 最適化プロセスの高速化と長期依存への対処のために,RaT-BPTT が採用されている。 複数の公開データセットの実験と分析により、提案した設計の優越性とクロスアーキテクチャの一般化性が確認された。 コードはhttps://github.com/USTC-StarTeam/TD3.comで公開されている。

関連論文リスト

• Enhancing Generalization via Sharpness-Aware Trajectory Matching for Dataset Condensation [37.77454972709646]
  学習した合成データセットの一般化能力を高めるシャープネス認識軌道マッチング(SATM)を導入する。 我々の手法は数学的に十分サポートされており、制御可能な計算オーバーヘッドとともに実装が容易である。
  論文  参考訳（メタデータ） (2025-02-03T22:30:06Z)
• Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
  拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。 本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。 提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
  論文  参考訳（メタデータ） (2024-09-13T02:23:55Z)
• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
  本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。 DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2024-03-11T14:07:53Z)
• Data-iterative Optimization Score Model for Stable Ultra-Sparse-View CT Reconstruction [2.2336243882030025]
  スパースビューCT再構成のための反復最適化データスコアリングモデル(DOSM)を提案する。 DOSMはデータの一貫性をデータ一貫性要素に統合し、測定データと生成モデルの制約を効果的にバランスさせる。 我々はDOSM更新の最適化に従来の手法を活用している。
  論文  参考訳（メタデータ） (2023-08-28T09:23:18Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Accelerating Dataset Distillation via Model Augmentation [41.3027484667024]
  本研究では,初期モデルとパラメータを用いた2つのモデル拡張手法を提案し,学習コストを大幅に削減した情報合成集合を学習する。 提案手法は,最先端の手法と同等の性能で,最大20倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-12-12T07:36:05Z)
• Dataset Distillation via Factorization [58.8114016318593]
  既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。 emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。 提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
  論文  参考訳（メタデータ） (2022-10-30T08:36:19Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。