論文の概要: Self-Balancing Gradient Allocation for Heterogeneity-Aware Feature Generation in Click-Through Rate Prediction
- arxiv url: http://arxiv.org/abs/2605.24986v1
- Date: Sun, 24 May 2026 10:27:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.633268
- Title: Self-Balancing Gradient Allocation for Heterogeneity-Aware Feature Generation in Click-Through Rate Prediction
- Title（参考訳）: クリックスルー速度予測における不均一性を考慮した特徴生成のための自己バランシング勾配配置
- Authors: Moyu Zhang, Yun Chen, Yujun Jin, Jinxin Hu, Yu Zhang, Xiaoyi Zeng,
- Abstract要約: HeteGenCTRは、デノナイジングネットワークと共同で訓練されたフィールド毎の学習困難パラメータを通じて、生成困難不均衡を解決する。
5つのCTRベンチマークと7日間のオンラインA/Bテストの実験は、最先端のベースラインよりも一貫した統計的に重要な改善を示している。
- 参考スコア（独自算出の注目度）: 9.542597285477683
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative pre-training via discrete diffusion provides dense reconstruction supervision across all feature fields simultaneously, mitigating representation collapse from data sparsity in CTR prediction. However, all existing generative CTR methods share a fundamental limitation: the reconstruction objective assigns equal training weight to every feature field, ignoring the profound heterogeneity of reconstruction difficulty across high-cardinality ID fields, sparse categorical attributes, numerical values, and behavioral sequences. This causes easy fields to dominate training gradients while the hardest but most informative fields remain chronically underfit, a problem we term the generative difficulty imbalance.We propose HeteGenCTR, which resolves this imbalance through per-field learnable difficulty parameters jointly trained with the denoising network. This unified signal drives two coordinated components without additional hyperparameters: a self-balancing loss that automatically reallocates gradient budget toward harder fields with a provably stable equilibrium, and a difficulty-guided attention mechanism that suppresses the influence of already-converged easy fields while amplifying cross-field information flow toward hard fields. Both components share the same learned signal and remain mutually consistent throughout training. Experiments on five CTR benchmarks and a seven-day online A/B test demonstrate consistent, statistically significant improvements over state-of-the-art baselines, with disproportionate gains for cold-start and long-tail users.
- Abstract（参考訳）: 離散拡散による生成事前学習は、CTR予測におけるデータ間隔による表現崩壊を緩和し、すべての特徴分野を同時に再現する。
しかし、既存のCTR法はすべて、基本的な制限を共有している: 再構成対象は全ての特徴体に等しい訓練重量を割り当て、高い心性IDフィールド、スパース分類属性、数値、行動系列をまたいだ再構成困難の深い不均一性を無視する。
これにより、難易度が最多だが最も情報に富む分野は慢性的に不適であり、生成困難不均衡(generative difficulty in Balance)と呼ばれる問題であり、我々は、この不均衡を解決するために、認知ネットワークと協調して学習可能な難易度パラメータを学習するHeteGenCTRを提案する。
この統合信号は、2つの調整されたコンポーネントを追加のハイパーパラメータなしで駆動する: 確実に安定な平衡でグラデーション予算をハードフィールドに自動的に再配置する自己バランス損失と、ハードフィールドへのクロスフィールド情報フローを増幅しながら既に収束している容易フィールドの影響を抑制する困難誘導注意機構である。
両方のコンポーネントは同じ学習信号を共有し、トレーニングを通じて相互に一貫性を保つ。
5つのCTRベンチマークと7日間のオンラインA/Bテストの実験は、最先端のベースラインよりも一貫した統計的に有意な改善を示し、コールドスタートとロングテールのユーザにとっては不釣り合いな増加だった。
関連論文リスト
- Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。
SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-15T07:26:54Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳（メタデータ） (2026-02-09T22:48:30Z) - CTTVAE: Latent Space Structuring for Conditional Tabular Data Generation on Imbalanced Datasets [0.0]
本稿では,2つの相補的機構を備えた条件変換器を用いたタブラル変分自動エンコーダであるCTTVAEを紹介する。
CTTVAE+TBSは、トレーニングを不安定にすることなく、より代表的で実用性に整ったサンプルを一貫して得る。
論文 参考訳（メタデータ） (2026-02-03T15:25:26Z) - ETR: Outcome-Guided Elastic Trust Regions for Policy Optimization [6.716883192613149]
textbfElastic textbfTrust textbfETRを提案する。
ETRはGRPOを一貫して上回り、より優れた精度を実現し、政策エントロピー劣化を効果的に緩和する。
論文 参考訳（メタデータ） (2026-01-07T09:19:53Z) - Comparative Analysis of Data Augmentation for Clinical ECG Classification with STAR [0.0]
正弦波時間振幅サンプリング(Sinusoidal Time-Amplitude Resampling, STAR)は、連続するRピーク間で厳密に動作するビートワイド増幅である。
STARは実践的なパイプラインのために設計されており、 (i) ピークや間隔を損なうことなくトレーニングの多様性を拡大するモルフォロジー-忠実な変動、 (ii) ソースレジリエンスなトレーニング、 デバイス、サイト、コホート間の安定性をデータセット固有のチューニングなしで改善する、 (iv) ビートレベルの拡張によるレアクラスの学習の改善。
論文 参考訳（メタデータ） (2025-10-15T14:18:03Z) - Dual-granularity Sinkhorn Distillation for Enhanced Learning from Long-tailed Noisy Data [67.25796812343454]
ディープラーニングのための実世界のデータセットは、クラス不均衡とラベルノイズの共起的な課題にしばしば悩まされる。
蒸留と相補的な知見の統合により二重強靭性を高める新しいフレームワークであるD-SINKを提案する。
ベンチマークデータセットの実験では、D-SINKはロバスト性を大幅に向上し、長い尾のノイズデータから学習する際の強い経験的性能を達成することが示された。
論文 参考訳（メタデータ） (2025-10-09T13:05:27Z) - Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。
本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
論文 参考訳（メタデータ） (2025-06-13T15:27:40Z) - Mechanistic Insights into Grokking from the Embedding Layer [15.676058752772287]
ニューラルネットワークの遅延一般化であるGrokkingは、トランスフォーマーやスタタネートで観測されているが、それを駆動するコンポーネントはまだ探索されていない。
埋め込みはグルーキングの中心であり、インプットの導入はモジュラー演算タスクにおける遅延一般化を誘導する。
我々の手法はグルーキング力学を改良するだけでなく、バイ線形相互作用が効率的なトレーニングを妨げるトランスフォーマー最適化の幅広い課題にまで拡張する。
論文 参考訳（メタデータ） (2025-05-21T15:12:34Z) - Logit Calibration and Feature Contrast for Robust Federated Learning on Non-IID Data [45.11652096723593]
Federated Learning(FL)は、エッジネットワークのデバイス上で協調的なモデルトレーニングを行うための、プライバシ保護のための分散フレームワークである。
本稿では,ローカルロジットアンダーラインキャリブレーションとグローバル機能アンダーラインコントラストを,ロジットと特徴の両方の観点から,バニラフェデレーション付き対人訓練プロセスに組み込んだFatCCを提案する。
論文 参考訳（メタデータ） (2024-04-10T06:35:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。