論文の概要: Scaled Supervision is an Implicit Lipschitz Regularizer

• arxiv url: http://arxiv.org/abs/2503.14813v1
• Date: Wed, 19 Mar 2025 01:01:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:03.095278
• Title: Scaled Supervision is an Implicit Lipschitz Regularizer
• Title（参考訳）: Scaled Supervisionは暗黙のリプシッツ正規化器
• Authors: Zhongyu Ouyang, Chunhui Zhang, Yaning Jia, Soroush Vosoughi,
• Abstract要約: ソーシャルメディアでは、レコメンダシステムはクリックスルーレート(CTR)をユーザのエンゲージメントを評価するための標準指標としています。 本稿では,既存のCTRモデルを安定的に最適化し,拡張性の向上を図るため,帯域幅のスケーリングが暗黙のリプシッツ正規化器として機能することを示す。
• 参考スコア（独自算出の注目度）: 32.41225209639384
• License:
• Abstract: In modern social media, recommender systems (RecSys) rely on the click-through rate (CTR) as the standard metric to evaluate user engagement. CTR prediction is traditionally framed as a binary classification task to predict whether a user will interact with a given item. However, this approach overlooks the complexity of real-world social modeling, where the user, item, and their interactive features change dynamically in fast-paced online environments. This dynamic nature often leads to model instability, reflected in overfitting short-term fluctuations rather than higher-level interactive patterns. While overfitting calls for more scaled and refined supervisions, current solutions often rely on binary labels that overly simplify fine-grained user preferences through the thresholding process, which significantly reduces the richness of the supervision. Therefore, we aim to alleviate the overfitting problem by increasing the supervision bandwidth in CTR training. Specifically, (i) theoretically, we formulate the impact of fine-grained preferences on model stability as a Lipschitz constrain; (ii) empirically, we discover that scaling the supervision bandwidth can act as an implicit Lipschitz regularizer, stably optimizing existing CTR models to achieve better generalizability. Extensive experiments show that this scaled supervision significantly and consistently improves the optimization process and the performance of existing CTR models, even without the need for additional hyperparameter tuning.
• Abstract（参考訳）: 現代のソーシャルメディアでは、レコメンダシステム(RecSys)はクリックスルー率(CTR)をユーザーのエンゲージメントを評価する標準的な指標として用いている。 CTR予測は伝統的に、ユーザが与えられたアイテムと対話するかどうかを予測するためのバイナリ分類タスクとしてフレーム化されている。 しかし、このアプローチは、ユーザ、アイテム、インタラクティブな機能が高速なオンライン環境で動的に変化する現実世界のソーシャルモデリングの複雑さを見落としている。 この動的な性質はモデル不安定を招き、高レベルな対話パターンよりも短期的な変動を過度に反映する。 より大規模で洗練された監視を求める要求に過度に適合する一方で、現在のソリューションは、しきい値付けプロセスを通じてきめ細かなユーザの好みを過度に単純化するバイナリラベルに依存しているため、監督の豊かさは著しく低下する。 そこで本研究では,CTRトレーニングにおける監視帯域を増大させることにより,オーバーフィッティングの問題を軽減することを目的とする。 具体的には i) 理論的には、リプシッツの制約としてモデル安定性に対するきめ細かい選好の影響を定式化する。 (II) 実験により, 監視帯域幅のスケーリングが暗黙のリプシッツ正則化器として機能し, 既存のCTRモデルを安定して最適化し, より一般化性の向上が期待できることがわかった。 大規模な実験により、この拡張された監視は、追加のハイパーパラメータチューニングを必要とせずとも、最適化プロセスと既存のCTRモデルの性能を大幅に改善することが示された。

関連論文リスト

• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Scale-Invariant Learning-to-Rank [0.0]
  Expediaでは、学習からランクまでのモデルが、ユーザがより関連性のある情報をソートし提示する上で重要な役割を担っている。 これらのモデルをデプロイする上で大きな課題は、トレーニングと運用データ間の一貫した機能スケーリングを保証することだ。 本稿では,学習時間と予測時間の両方でモデル内のスケール不変性を数学的に保証するために,ディープニューラルネットワークとワイドニューラルネットワークを組み合わせたスケール不変LTRフレームワークを提案する。 我々は、予測時にテストセットを摂動させることにより、実世界のシナリオをシミュレーションして評価し、一貫性のないトレインテストのスケーリングであっても、フレームワークを使用した場合よりも優れたパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2024-10-02T19:05:12Z)
• CTR-KAN: KAN for Adaptive High-Order Feature Interaction Modeling [37.80127625183842]
  CTR-KANは高次特徴相互作用モデリングのための適応的フレームワークである。 これはコルモゴロフ・アルノルドネットワーク(KAN)パラダイムに基づいており、CTR予測タスクの限界に対処している。 CTR-KANは計算コストを大幅に削減して最先端の予測精度を実現する。
  論文  参考訳（メタデータ） (2024-08-16T12:51:52Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• Helen: Optimizing CTR Prediction Models with Frequency-wise Hessian Eigenvalue Regularization [22.964109377128523]
  CTR(Click-Through Rate)予測は、オンライン広告とレコメンデーションシナリオにおいて最も重要である。 近年のCTR予測モデルの普及にもかかわらず、性能の改善は限られている。
  論文  参考訳（メタデータ） (2024-02-23T15:00:46Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Concept Drift Adaptation for CTR Prediction in Online Advertising Systems [6.900209851954917]
  クリックスルー率(CTR)予測は、ウェブ検索、レコメンダシステム、オンライン広告表示において重要な課題である。 本稿では,CTR予測データストリームにおける適応フィルタリングによるコンセプトドリフト問題を軽減するために,専門家の適応混合(AdaMoE)を提案する。
  論文  参考訳（メタデータ） (2022-04-01T07:43:43Z)
• Click-through Rate Prediction with Auto-Quantized Contrastive Learning [46.585376453464114]
  ユーザ行動が予測の利益を捉えるのに十分リッチかどうかを考察し、モデルを正規化するためのAQCL(Auto-Quantized Contrastive Learning)損失を提案する。 提案されたフレームワークは、異なるモデルアーキテクチャに非依存であり、エンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-09-27T04:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。