論文の概要: Batch Size or Negatives? A Selection Rule for Memory-Constrained Recommender Training
- arxiv url: http://arxiv.org/abs/2608.11061v1
- Date: Tue, 11 Aug 2026 15:29:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.104331
- Title: Batch Size or Negatives? A Selection Rule for Memory-Constrained Recommender Training
- Title（参考訳）: バッチサイズか負か? : 記憶に制約のあるレコメンダトレーニングのための選択規則
- Abstract要約: 大規模ニューラルレコメンダシステムは、通常、全項目語彙に対してソフトマックスのクロスエントロピー目的で訓練される。
固定予算が$B = n k$の場合、より大きなバッチを優先するか、よりネガティブな項目を含めるべきかどうかは不明だ。
本稿では,リコメンデータシステムのトレーニング中のメモリ構成に関する理論的かつ実証的な基礎を提案する。
- 参考スコア（独自算出の注目度）: 0.8782033967242784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale neural recommender systems are typically trained with a softmax cross-entropy objective over the full item vocabulary. For a typical large number of possible items $K$, the final classification layer dominates memory, requiring $O(nK)$ logits and gradients to materialize for a batch of $n$ examples. Sampled softmax reduces this cost by restricting the objective to only $k \ll K$ candidate negative items, resulting in an $O(nk)$ memory. However, for a fixed budget $B = n k$, it remains unclear whether one should prioritize larger batches or the inclusion of more negative items. We address this question by analyzing sampled-softmax training under a fixed memory constraint. Under standard smoothness and variance assumptions, our theoretical evidence suggests that the fastest convergence arises from an $ n \sim B, k \sim 1$ allocation. So, an actionable rule is to include as many objects as possible given computational constraints. Our theory is supported by controlled synthetic and synthetic and four real sequential recommendation benchmarks, including MovieLens-20M. The suggested configuration achieve faster convergence and better final recommendation quality than imbalanced alternatives within the same memory constraint. These findings provide a theoretical and empirical foundation for configuring memory during the training of recommender systems. Code, reproducibility materials, and all scripts for generating figures are available at https://anonymous.4open.science/r/LimitedMemoryRule-BBFB
- Abstract（参考訳）: 大規模ニューラルレコメンダシステムは、通常、全項目語彙に対してソフトマックスのクロスエントロピー目的で訓練される。
可能な多くのアイテムに対して、最終的な分類層はメモリを支配し、$O(nK)$ロジットと勾配を必要とする。
サンプルソフトマックスは、目的を$k \ll K$候補負の項目のみに制限することでこのコストを削減し、結果として$O(nk)$メモリとなる。
しかし、固定予算の$B = n k$の場合、より大きなバッチを優先するか、よりネガティブな項目を含めるべきかどうかは不明だ。
固定メモリ制約下でのサンプルソフトマックストレーニングを解析することにより,この問題に対処する。
標準的な滑らかさと分散の仮定の下で、我々の理論的な証拠は、最も速い収束が$n \sim B, k \sim 1$の割当から生じることを示唆している。
したがって、作用可能なルールは、計算の制約が与えられた場合、できるだけ多くのオブジェクトを含めることである。
我々の理論は、MovieLens-20Mを含む、制御された合成および合成および4つの真のシーケンシャルレコメンデーションベンチマークによって支持されている。
提案した構成は、同じメモリ制約内で不均衡な代替品よりも高速な収束と最終的な推奨品質を実現する。
これらの知見は、リコメンデータシステムのトレーニング中のメモリ構成に関する理論的かつ実証的な基礎を提供する。
コード、再現性材料、およびフィギュアを生成するためのすべてのスクリプトはhttps://anonymous.4open.science/r/LimitedMemoryRule-BBFBで入手できる。
関連論文リスト
- Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。
約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。
計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
論文 参考訳（メタデータ） (2026-06-03T15:59:25Z) - Sharp Capacity Thresholds in Linear Associative Memory: From Winner-Take-All to Listwise Retrieval [59.859592671274704]
$dtimes d$ リニアメモリストアはいくつのキー値アソシエーションが可能ですか?
この答えは、メモリマトリックスの$d2$自由度だけでなく、検索基準にも依存する。
論文 参考訳（メタデータ） (2026-05-06T17:53:20Z) - Few Batches or Little Memory, But Not Both: Simultaneous Space and Adaptivity Constraints in Stochastic Bandits [21.76698452732286]
空間と適応性に制約を同時に与えたマルチアームバンディットについて検討する。
我々は、$W$-bitメモリ制約を持つアルゴリズムは、少なくとも$(K/W)$バッチを使用して、最小限の後悔である$widetildeO(sqrtKT)$を達成する必要があることを証明している。
論文 参考訳（メタデータ） (2026-03-14T04:02:50Z) - DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。
モデル応答の多様性を最大化するサンプルを選択することが重要となる。
我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
論文 参考訳（メタデータ） (2025-10-09T08:53:59Z) - Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。
提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
論文 参考訳（メタデータ） (2024-05-30T21:36:12Z) - Provably Efficient High-Dimensional Bandit Learning with Batched
Feedbacks [93.00280593719513]
本稿では,オンラインインタラクションのT$ステップをバッチに分割したバッチフィードバックによる高次元マルチアームコンテキストバンドレットについて検討する。
具体的には、各バッチは以前のバッチに依存するポリシーに従ってデータを収集し、その報酬はバッチの最後にのみ明らかにする。
我々のアルゴリズムは,$mathcalO( log T)$ バッチで完全に逐次的に設定されたものに匹敵する後悔の限界を達成している。
論文 参考訳（メタデータ） (2023-11-22T06:06:54Z) - SlateFree: a Model-Free Decomposition for Reinforcement Learning with
Slate Actions [5.647516208808729]
逐次的なレコメンデーションの問題を考慮し、各ステップでエージェントがユーザに対して$N$の異なるアイテムのスレートを提案する。
そこで本研究では,SARSAとQ-ラーニングアルゴリズムを新たに提案し,事前のユーザ知識を必要とせず,ステップ毎に$N$の並列反復処理を行う。
論文 参考訳（メタデータ） (2022-09-05T10:15:16Z) - GraB: Finding Provably Better Data Permutations than Random Reshuffling [39.067886932979874]
ランダムリシャッフルはデータセットを各エポックにランダムに置換するが、非置換サンプリングよりも高速な収束をもたらすため、モデルトレーニングでは広く採用されている。
最近の研究では、厳密に選択されたデータ順序付けは、より多くの計算とメモリを使用するコストで、経験的に収束をさらにスピードアップさせることができることが示されている。
グラディエント・バランシング・アルゴリズム(GraB)は、トレーニングと検証の両方のパフォーマンスにおいて、ランダムなリシャッフルよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-05-22T04:17:32Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - More Optimal Simulation of Universal Quantum Computers [0.0]
最悪のサンプリングコストは$le(2+sqrt2)xi_t delta-1$であり、$t rightarrow infty$である。
我々は、この68倍のプレファクタを、相関サンプリングにより$t$の先行値の低減により削減する。
論文 参考訳（メタデータ） (2022-02-02T19:00:03Z) - Near-Optimal Regret Bounds for Contextual Combinatorial Semi-Bandits
with Linear Payoff Functions [53.77572276969548]
我々は、C$2$UCBアルゴリズムが分割マトロイド制約に対して最適な後悔結合$tildeO(dsqrtkT + dk)$を有することを示した。
一般的な制約に対して,C$2$UCBアルゴリズムで腕の報酬推定値を変更するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-20T04:29:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。