論文の概要: Beyond One Epoch: Uncertainty-Weighted Sensitivity Regularization for Recommendation Models

• arxiv url: http://arxiv.org/abs/2609.34083v1
• Date: Mon, 28 Sep 2026 01:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:07:46.740149
• Title: Beyond One Epoch: Uncertainty-Weighted Sensitivity Regularization for Recommendation Models
• Title（参考訳）: 一つのエポックを超えて: 推薦モデルに対する不確かさ重み付き感度正規化
• Abstract要約: 疎密な埋め込みと共有消費者による勧告モデルは、しばしば一つのエポックな現象を示す。 前提原則に違反した見解を提示する。 このミスマッチに対処するために、不確実性重み付き感度正則化を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recommendation models with sparse embeddings and a shared consumer often exhibit the one-epoch phenomenon: a second epoch lowers training loss while sharply degrading generalization. We present a view based on the violation of the prequential principle. On the first epoch, an example's label has not affected the embedding rows used to score it. On later epochs, those rows contain a displacement induced by the labels earlier update. This creates an incentive for the shared consumer to exploit this displacement in subsequent epochs, which fails to generalize. We call this self-influence asymmetry. Using an exact scalar model and local influence analysis, we connect this mismatch to the uncertainty in the embeddings and the consumers incentive to exploit it in subsequent epochs. We verify this hypothesis using an embedding-consumer-update interventions in deep recommendation models and propose uncertainty-weighted sensitivity regularization (UWSR) which counteracts this mismatch by augmenting the loss function to penalize the consumer for relying on uncertain embeddings. Unlike existing remedies, UWSR preserves the learned embeddings and across three benchmarks, four-epoch UWSR reduces test cross-entropy by 1.38%-6.78% and improves AUC by 0.0058-0.0231 relative to one-epoch training.
• Abstract（参考訳）: スパース埋め込みと共有消費者による勧告モデルは、しばしば一つのエポックな現象を示す: 2番目のエポックは、一般化を急激に劣化させながらトレーニング損失を減少させる。 前提原則に違反した見解を提示する。 最初のエポックでは、サンプルのラベルは、それをスコアするために使用される埋め込み行に影響を与えていない。 その後のエポックでは、これらの行はラベルによって引き起こされた変位を含む。 これにより、共有コンシューマがその後のエポックでこの変位を利用するインセンティブが生まれ、一般化に失敗する。 これを自己影響非対称性と呼ぶ。 正確なスカラーモデルと局所的影響分析を用いて、このミスマッチを埋め込みの不確実性と消費者のインセンティブに結びつけ、その後の時代において活用する。 本仮説は, 消費者が不確実な埋め込みに依存するために, 消費者を罰する損失関数を増大させることにより, 不確実性重み付き感度正則化(UWSR)を提案する。 既存の治療法とは異なり、UWSRは学習した埋め込みを3つのベンチマークで保存し、UWSRはテストのクロスエントロピーを1.38%-6.78%減らし、AUCを0.0058-0.0231改善した。

関連論文リスト

• When Priors Backfire: On the Vulnerability of Unlearnable Examples to Pretraining [28.704214093822472]
  Unlearnable Examples (UEs) は、データ保護戦略として機能し、誤解を招くモデルに対して知覚できない摂動を発生させ、基礎となる意味論ではなく素早い相関を学習する。 本稿では,事前学習モデルから学習を開始すると現れるUEの基本的脆弱性を明らかにする。 本稿では,新しい二段階最適化法であるBAIT(Binding Artificial perturbations to Incorrect Targets)を提案する。
  論文  参考訳（メタデータ） (2026-03-05T02:10:40Z)
• Tracing the Path to Grokking: Embeddings, Dropout, and Network Activation [0.0]
  グロキング(Grokking)とは、トレーニング精度の向上後にニューラルネットワークのテスト精度が向上する遅延一般化のこと。 本稿では, 落下時の分散, 強靭性, 埋め込み類似性, 余剰性など, グルーキングの挙動を予測できる指標をいくつか紹介する。
  論文  参考訳（メタデータ） (2025-07-15T18:30:42Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Selective Regression Under Fairness Criteria [30.672082160544996]
  少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。 満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
  論文  参考訳（メタデータ） (2021-10-28T19:05:12Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。