論文の概要: FLMNet: Self-Ensemble Distillation from Masks to Seeds for Single-Tower CTR Prediction

• arxiv url: http://arxiv.org/abs/2610.26143v1
• Date: Mon, 19 Oct 2026 10:27:04 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:15:30.936387
• Title: FLMNet: Self-Ensemble Distillation from Masks to Seeds for Single-Tower CTR Prediction
• Title（参考訳）: FLMNet:シングルTower CTR予測のためのマスクから種子への自己組織化蒸留
• Abstract要約: クリックスルー率(CTR)予測は、レコメンデーションシステムとオンライン広告の基盤となる。 最近のCTRモデル(FinalNetやQNNなど)では、ネットワークが独自の平均予測から学習した時に高い精度を報告している。 この研究は、境界のないドロップアウトパターンの数が増加するにつれて、ロジット平均予測のラベル損失が正確に減少することを示している。
• 参考スコア（独自算出の注目度）: 6.059320907389481
• License:
• Abstract: Click-through rate (CTR) prediction underpins recommender systems and online advertising, where high-dimensional categorical features interact in combinatorially many ways. Several recent CTR models, such as FinalNet and QNN, report higher accuracy when a network also learns from its own averaged predictions, for example by running the same network under different dropout patterns and training each run toward the average. Why this self-distillation helps, and whether its random sampling is needed, remains unclear. This work shows that as the number of dropout patterns grows without bound, the objective reduces exactly to the label loss of the logit-averaged prediction plus a penalty on how much the dropout copies of the network disagree. When dropout does not affect how a network gates its features, this penalty can be approximated in closed form, and FLMNet is designed on this principle and trains without sampling. Networks trained from different seeds disagree in the same form, and distilling several of them into one network recovers part of their ensemble gain. On five benchmarks against seventeen baselines, the resulting models take the top two places in accuracy with a single network at inference, and the gains of the penalty and of distillation, where measurable, largely add up.
• Abstract（参考訳）: クリックスルー率(CTR)予測は、高次元のカテゴリー的特徴が組合せ的に多くの方法で相互作用する、レコメンデーターシステムとオンライン広告の基盤となる。 最近のCTRモデル(FinalNetやQNNなど)では、ネットワークが独自の平均予測から学習した場合、例えば、同じネットワークを異なるドロップアウトパターンで実行し、各ネットワークを平均に向けてトレーニングすることで、より高い精度を報告している。 この自己蒸留がなぜ役立つのか、そしてそのランダムサンプリングが必要なのかは、まだ不明である。 この研究は、ドロップアウトパターンの数がバウンドなしで増加するにつれて、目的が正確に、ロジット平均予測のラベル損失と、ネットワークのドロップアウトコピーがどの程度不一致であるかのペナルティに還元されることを示している。 ドロップアウトがネットワークの機能をゲートする方法に影響しない場合、このペナルティはクローズドな形で近似でき、FLMNetはこの原理に基づいて設計され、サンプリングなしで列車を走らせることができる。 異なる種から訓練されたネットワークは、同じ形態で一致せず、いくつかのネットワークを1つのネットワークに蒸留すると、アンサンブルゲインの一部が回復する。 17の基準線に対する5つのベンチマークでは、結果として得られたモデルは推論時に1つのネットワークで上位2か所の精度を保ち、測定可能な場合のペナルティと蒸留の利得は大幅に増大する。

関連論文リスト

• When Simple Model Just Works: Is Network Traffic Classification in Crisis? [0.0]
  パケットシーケンスメタデータを用いた単純なk-NNベースラインは、より複雑な手法より優れていることを示す。 我々は、NLPやコンピュータビジョンのようなドメインに適応した標準的な機械学習の実践は、ネットワークトラフィックの分類に不適であると主張している。
  論文  参考訳（メタデータ） (2025-06-10T10:11:05Z)
• Fitting Low-rank Models on Egocentrically Sampled Partial Networks [4.111899441919165]
  本稿では,egocentricly sampled network に対する一般的な低ランクモデルに適合する手法を提案する。 この手法は、エゴセントリックな部分的ネットワーク推定に関する最初の理論的保証を提供する。 本手法を複数の合成および実世界のネットワーク上で評価し,リンク予測タスクにおいて競合性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-09T03:20:44Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
  ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。 現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。 本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T08:16:31Z)
• Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
  推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。 多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。 本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:32:55Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Ex uno plures: Splitting One Model into an Ensemble of Subnetworks [18.814965334083425]
  そこで本研究では,プレニング戦略によって計算され,独立に訓練された非重なり合っていないドロップアウトマスクに対応する,作業のアンサンブルを計算する戦略を提案する。 提案手法は,精度と不確実性の両方において,標準的なディープアンサンブルと同等に動作可能であることを示す。 我々は、ニューラルネットワークを効率的にアンサンブルする最近提案されたアプローチよりも、サブネットワークのアンサンブルが一貫して優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-09T01:49:49Z)
• Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
  本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。 本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
  論文  参考訳（メタデータ） (2021-05-18T15:51:24Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
  抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
  論文  参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。