論文の概要: PRIME: Mitigating Subgroup Optimization Competition in Shared CTR Top Networks with Plug-in Residual Input-Conditioned Mixture of Expert
- arxiv url: http://arxiv.org/abs/2608.30449v1
- Date: Mon, 31 Aug 2026 08:37:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.318514
- Title: PRIME: Mitigating Subgroup Optimization Competition in Shared CTR Top Networks with Plug-in Residual Input-Conditioned Mixture of Expert
- Title（参考訳）: PRIME: プラグイン残差型エキスパート混合型共有CTRトップネットワークにおけるサブグループ最適化競争の緩和
- Abstract要約: 4つのモデルと4つのセマンティックフィールドを持つアバズ上での競合について検討する。
我々は,低ランクの残留専門家を混在させたPRIME(Plug-in Residual Input- Conditioned Mixture of Experts)を紹介する。
- 参考スコア（独自算出の注目度）: 16.073701450851008
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Click-through rate (CTR) models vary in feature-interaction design, yet their top networks usually remain a single multilayer perceptron shared by all examples. Heterogeneous user, item, and context subgroups therefore update the same parameters; weakly aligned learning signals make the aggregate gradient a compromise among competing directions. We study the competition on Avazu with 4 models and 4 semantic fields. Across all architectures, semantic subgroups show lower Top-NN gradient cosine similarity than random groups matched by sample size and label ratio, with reductions of 0.23-0.37. This competition motivates input-conditioned experts, but directly replacing an established Dense mapping changes its initial function, sharing pattern, and capacity, obscuring the source of gains. We introduce PRIME (Plug-in Residual Input-conditioned Mixture of Experts), a Dense-anchored mixture of low-rank residual experts. PRIME anchors the original prediction and uses zero-residual initialization to match the Dense baseline exactly at training onset. Input-dependent routing weights low-rank experts for example-specific logit corrections; multi-bag aggregation and EMA load biases stabilize conditional estimation. We evaluate PRIME on held-out Avazu and Criteo test sets across 13 CTR architectures and five paired seeds. Median paired AUC gains are +0.0022 and +0.0066, with LogLoss reductions of 0.0011 and 0.0081, respectively. On FiBiNET and DCNv2, PRIME outperforms APG in all ten seed-level AUC comparisons while using fewer parameters and lower inference latency on both backbones. These results show that function-preserving conditional residuals add input-dependent capacity while preserving the Dense path and its optimization stability. Code is available at https://github.com/YH-learning/PRIME.
- Abstract（参考訳）: クリックスルーレート(CTR)モデルは機能相互作用設計において異なるが、そのトップネットワークは通常、すべての例で共有される単一のマルチ層パーセプトロンのままである。
したがって、不均一なユーザ、アイテム、コンテキストサブグループは、同じパラメータを更新する。
4つのモデルと4つのセマンティックフィールドを持つアバズ上での競合について検討する。
全てのアーキテクチャにおいて、意味的部分群はサンプルサイズとラベル比で一致したランダム群よりもTop-NN勾配コサイン類似度が低く、0.23-0.37の減少を示す。
このコンペティションは入力条件の専門家を動機付けているが、確立されたDenseマッピングを直接置き換えることで、初期関数、共有パターン、キャパシティが変更され、ゲインの源を隠蔽する。
我々は,低ランクの残留専門家を混在させたPRIME(Plug-in Residual Input- Conditioned Mixture of Experts)を紹介する。
PRIMEはオリジナルの予測をアンカーし、ゼロ残留初期化を使用してDenseベースラインをトレーニング開始時に正確に一致させる。
入力依存ルーティングは、例固有のロジット補正のための低ランクの専門家を重み付け、マルチバグアグリゲーションとEMA負荷バイアスは条件付き推定を安定化させる。
我々は,13のCTRアーキテクチャと5つのペア種子からなる保持型AvazuおよびCriteoテストセットのPRIMEを評価した。
中間対AUCゲインは+0.0022と+0.0066であり、LogLossは0.0011と0.0081である。
FiBiNETとDCNv2では、PRIMEは10のシードレベルのAUC比較でAPGよりも優れ、パラメータが少なく、両方のバックボーン上での推論レイテンシも低い。
これらの結果から,関数保存条件残差はDense経路の保存と最適化安定性を保ちつつ,入力依存容量を増大させることが示された。
コードはhttps://github.com/YH-learning/PRIMEで入手できる。
関連論文リスト
- Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Evolution-Inspired Sample Competition for Deep Neural Network Optimization [19.75458355825581]
textitNatural Selection (NS) は、ネットワークの深層学習に競合する相互作用を明示的に組み込む、進化にインスパイアされた新しい最適化手法である。
NSは、各サンプルの競争状態をグループワイドな文脈で推定し、そのトレーニングコントリビューションを適応的に規制するために使用する。
NSは多様なネットワークアーキテクチャと互換性があり、タスク固有の仮定に依存しない。
論文 参考訳（メタデータ） (2026-04-14T10:48:01Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳（メタデータ） (2026-04-11T10:47:22Z) - FedSQ: Optimized Weight Averaging via Fixed Gating [1.2058208023553034]
フェデレーション学習は、生データを共有することなく、組織間で協調的なトレーニングを可能にする。
本稿では、DualCopyに基づくトランスファードニューラルフェデレーションであるFedSQ(Federated Structure-Quantitative Learning)を提案する。
ゲーティングの固定は、学習を不均一な分割下での凝集を安定化するアフィン内部の精製に還元する。
論文 参考訳（メタデータ） (2026-04-03T11:54:23Z) - Do Generative Metrics Predict YOLO Performance? An Evaluation Across Models, Augmentation Ratios, and Dataset Complexity [43.338311770275745]
本報告では, YOLOv11の合成増強の制御された評価法について述べる。
実際のトレーニングスプリットの10%から150%の増大率に対して, GAN, 拡散, ハイブリッドベースの6つのジェネレータをベンチマークした。
データセット生成/拡張設定毎に、マッチしたサイズのブートストラッププロトコルで事前トレーニングデータセットメトリクスを計算する。
論文 参考訳（メタデータ） (2026-02-20T03:02:36Z) - Mixing Configurations for Downstream Prediction [20.099477835723704]
人間は、クラスタリングアルゴリズムがエミュレートしようとする認知メカニズムである類似性によってオブジェクトをグループ化する能力を持っている。
コミュニティ検出の最近の進歩により、ラベル付きデータを必要としない構成の発見が可能になった。
GraMixCは、構成を抽出し、リバースマージ/スプリット(Reverse Merge/Split, RMS)技術を使って調整し、アテンションヘッドを介してそれらを融合して、下流の予測器に転送するプラグイン・アンド・プレイモジュールである。
論文 参考訳（メタデータ） (2025-10-22T05:09:53Z) - AEGIS: Authentic Edge Growth In Sparsity for Link Prediction in Edge-Sparse Bipartite Knowledge Graphs [0.8594140167290097]
AEGISは、既存のトレーニングエッジを再サンプリングする、エッジのみの拡張フレームワークである。
テキストリッチGDPグラフでは、セマンティックKNNが最大のAUC改善とBrierスコアの削減を実現している。
論文 参考訳（メタデータ） (2025-09-26T07:51:40Z) - AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。
2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。
分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
論文 参考訳（メタデータ） (2025-08-07T07:47:16Z) - Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。
本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。
我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
論文 参考訳（メタデータ） (2025-03-12T15:46:12Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。