論文の概要: Data Augmentation as Free Lunch: Exploring the Test-Time Augmentation for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2504.04843v2
• Date: Mon, 14 Apr 2025 06:01:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:43:35.809158
• Title: Data Augmentation as Free Lunch: Exploring the Test-Time Augmentation for Sequential Recommendation
• Title（参考訳）: フリーランチとしてのデータ拡張:シークエンシャルレコメンデーションのためのテスト時間拡張を探る
• Authors: Yizhou Dang, Yuting Liu, Enneng Yang, Minhan Huang, Guibing Guo, Jianzhe Zhao, Xingwei Wang,
• Abstract要約: 既存の方法は、モデルトレーニング中に新しいが効果的なデータを生成し、パフォーマンスを向上させる。 デプロイには、再トレーニング、アーキテクチャ修正、追加の学習可能なパラメータの導入が必要だ。 モデル推論中に入力を加算し、モデルが拡張したデータに対する予測を集約し、最終的な精度を向上させる。
• 参考スコア（独自算出の注目度）: 9.55994486328914
• License:
• Abstract: Data augmentation has become a promising method of mitigating data sparsity in sequential recommendation. Existing methods generate new yet effective data during model training to improve performance. However, deploying them requires retraining, architecture modification, or introducing additional learnable parameters. The above steps are time-consuming and costly for well-trained models, especially when the model scale becomes large. In this work, we explore the test-time augmentation (TTA) for sequential recommendation, which augments the inputs during the model inference and then aggregates the model's predictions for augmented data to improve final accuracy. It avoids significant time and cost overhead from loss calculation and backward propagation. We first experimentally disclose the potential of existing augmentation operators for TTA and find that the Mask and Substitute consistently achieve better performance. Further analysis reveals that these two operators are effective because they retain the original sequential pattern while adding appropriate perturbations. Meanwhile, we argue that these two operators still face time-consuming item selection or interference information from mask tokens. Based on the analysis and limitations, we present TNoise and TMask. The former injects uniform noise into the original representation, avoiding the computational overhead of item selection. The latter blocks mask token from participating in model calculations or directly removes interactions that should have been replaced with mask tokens. Comprehensive experiments demonstrate the effectiveness, efficiency, and generalizability of our method. We provide an anonymous implementation at https://github.com/KingGugu/TTA4SR.
• Abstract（参考訳）: データ拡張は、シーケンシャルなレコメンデーションにおいてデータの分散を緩和する有望な方法となっている。 既存の方法は、モデルトレーニング中に新しいが効果的なデータを生成し、パフォーマンスを向上させる。 しかし、それらをデプロイするには、再トレーニング、アーキテクチャの変更、あるいは追加の学習可能なパラメータの導入が必要である。 上記のステップは、よく訓練されたモデル、特にモデルスケールが大きくなると、時間とコストがかかります。 そこで本研究では,モデル推論中に入力を増大させる逐次レコメンデーションのためのテスト時間拡張(TTA)について検討し,そのモデルが拡張データに対する予測を集約し,最終的な精度を向上させる。 損失計算や後方伝播からかなりの時間とコストのオーバーヘッドを避ける。 まず,既存のTTA拡張演算子の可能性を実験的に明らかにし,Mask と Substitute が一貫した性能を実現していることを確認した。 さらに解析したところ、これら2つの演算子は、適切な摂動を加えながら、元のシーケンシャルなパターンを保ちながら有効であることが判明した。 一方、これら2つのオペレーターは依然としてマスクトークンからのアイテムの選択や干渉情報に直面している。 解析と制限に基づき、TNoise と TMask を提示する。 前者は元の表現に一様ノイズを注入し、アイテム選択の計算オーバーヘッドを回避する。 後者は、マスクトークンがモデル計算に参加することを妨げるか、マスクトークンに置き換えられるべきインタラクションを直接削除する。 本手法の有効性,効率,一般化性について総合的な実験を行った。 我々はhttps://github.com/KingGugu/TTA4SRで匿名実装を提供しています。

関連論文リスト

• Towards Pattern-aware Data Augmentation for Temporal Knowledge Graph Completion [18.51546761241817]
  本稿では、時間的知識グラフのための最初のデータ拡張戦略であるBoosterを紹介する。 本稿では,TKG内の三進的閉包に基づく階層的スコアリングアルゴリズムを提案する。 また、モデルが好むパターンから逸脱するサンプルを特定するための2段階のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-12-31T03:47:19Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Regularized Mask Tuning: Uncovering Hidden Knowledge in Pre-trained Vision-Language Models [89.07925369856139]
  我々は,学習可能な選択によってネットワークパラメータをマスクする,正規化マスクチューニングと呼ばれる新しいタイプのチューニング手法を設計する。 神経経路にインスパイアされた我々は、下流タスクに必要な知識は、既にトレーニング済みの重みの中に存在するが、上流のトレーニング済みの段階では隠されていると論じる。 平均2.56%のパラメータをマスキングすることで、ゼロショットのCLIPと比較して18.73%のパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2023-07-27T17:56:05Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Exploring Bayesian Surprise to Prevent Overfitting and to Predict Model Performance in Non-Intrusive Load Monitoring [25.32973996508579]
  非侵入負荷モニタリング(Non-Intrusive Load Monitoring, NILM)は、集積信号のみに基づくシステムにおける構成的電気負荷の分離に焦点を当てた研究分野である。 予測分布(予測的サプライズ)と遷移確率(遷移的サプライズ)の間のサプライズ度を定量化する。 この研究は、データセットサイズに関するモデルパフォーマンスのリターンを減少させるポイントが存在するという明確な証拠を提供する。
  論文  参考訳（メタデータ） (2020-09-16T15:39:08Z)
• Learning Transition Models with Time-delayed Causal Relations [17.494609199646813]
  提案アルゴリズムはまずマルコフの仮定による観測を予測した。 隠された変数は、関連する過去の出来事を追跡するメモリユニットである。 シミュレーションおよび実際のロボットタスクの実験は、この手法が現在の技術よりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2020-08-04T14:35:11Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Masking as an Efficient Alternative to Finetuning for Pretrained Language Models [49.64561153284428]
  我々は、微調整によって修正する代わりに、事前訓練された重量に対する選択的な二乗マスクを学習する。 内在的評価では、マスキング言語モデルによって計算された表現が、下流タスクの解決に必要な情報を符号化していることを示す。
  論文  参考訳（メタデータ） (2020-04-26T15:03:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。