Fugu-MT 論文翻訳(概要): Mitigating Early Training Collapse in CTR Models

論文の概要: Mitigating Early Training Collapse in CTR Models

arxiv url: http://arxiv.org/abs/2607.09696v1
Date: Sat, 20 Jun 2026 04:34:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-19 21:54:20.374984
Title: Mitigating Early Training Collapse in CTR Models
Title（参考訳）: CTRモデルにおける早期訓練失敗の軽減
Abstract要約: クリックスルー率予測のためのディープニューラルネットワークモデルは、最初のトレーニングエポック直後の検証性能が大幅に低下することが多い。本研究では,大規模産業データセットを用いてこれらの挙動を分析し,実践的緩和戦略を評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural models for click-through rate prediction often exhibit a sharp decline in validation performance immediately after the first training epoch despite continued improvement in training loss. This instability restricts effective learning and limits model performance. In this study, we analyze this behavior using large-scale industrial datasets and evaluate practical mitigation strategies. While reducing the learning rate provides only incremental gains, controlling feature sparsity yields substantial improvements. Removing highly sparse features and aggregating infrequent feature values stabilizes training, extends useful learning beyond a single epoch, and improves both offline evaluation metrics and online system performance.
Abstract（参考訳）: クリックスルー率予測のためのディープニューラルモデルは、トレーニング損失の継続的な改善にもかかわらず、最初のトレーニングエポック直後の検証性能が大幅に低下することが多い。この不安定さは効果的な学習を制限し、モデルの性能を制限する。本研究では,大規模産業データセットを用いてこれらの挙動を分析し,実践的緩和戦略を評価する。学習率の低減は漸進的な利得しか提供しないが、特徴空間の制御は大幅な改善をもたらす。高度にスパースな機能を取り除き、頻繁な機能値の集約はトレーニングを安定化させ、単一のエポックを超えて有用な学習を拡張し、オフライン評価メトリクスとオンラインシステムパフォーマンスの両方を改善します。

関連論文リスト

Fine-Tuning Without Forgetting via Loss-Adaptive Learning Rates [10.06646055401747]
新しいデータに微調整された大きな言語モデルは、タスクパフォーマンスを改善するが、事前トレーニング中に学んだ能力は低下する。既存の方法は、高損失トークンやシーケンスを抑えるために微調整の目的を変更することで、これを緩和する。 FINCHは、標準微調整のタスク性能に適合しながら、平均93%の忘れを減らし、損失適応型学習率スケジュールである。
論文参考訳（メタデータ） (2026-05-19T15:36:52Z)
Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
論文参考訳（メタデータ） (2025-12-29T12:35:51Z)
Knowledge-guided Continual Learning for Behavioral Analytics Systems [0.3437656066916039]
このコンテンツをキャプチャするために学習するモデルは、データドリフトによって時間の経過とともにパフォーマンスが低下する可能性がある。このようなモデルを時間をかけて微調整することは、破滅的な忘れ物のために有害である可能性がある。連続学習におけるリプレイベースのアプローチは、そのようなモデルを更新するための単純で効率的な方法を提供する。本稿では,リプレイ型連続学習フレームワークに外部知識を取り入れた拡張型アプローチを提案する。
論文参考訳（メタデータ） (2025-10-25T19:04:14Z)
Deep Generative Continual Learning using Functional LoRA: FunLoRA [12.547444644243543]
共通の戦略は、忘れを和らげるために、生成モデルを自身の合成データで再訓練することである。低階適応(LoRA)に基づく生成モデルのための新しい、より表現力のある条件付け機構を提案する。提案手法は,拡散モデルに基づく先行技術結果を上回るパラメータ効率細調整(PEFT)手法である。
論文参考訳（メタデータ） (2025-10-03T00:18:05Z)
Instance-dependent Early Stopping [57.912273923450726]
本稿では,早期停止機構をトレーニングセット全体からインスタンスレベルに適応させる,インスタンス依存早期停止(IES)手法を提案する。 IES は、損失値の2階差が 0 付近の小さな範囲に留まっている場合、インスタンスをマスタードとみなす。 IESは、モデルのテスト精度と転送学習性能を維持したり、わずかに改善したりしながら、バックプロパゲーションインスタンスを10%から50%削減することができる。
論文参考訳（メタデータ） (2025-02-11T13:34:09Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
Churn Reduction via Distillation [54.5952282395487]
本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
論文参考訳（メタデータ） (2021-06-04T18:03:31Z)
Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文参考訳（メタデータ） (2020-10-27T17:55:16Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。