論文の概要: LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2604.19550v1
• Date: Tue, 21 Apr 2026 15:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.83303
• Title: LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction
• Title（参考訳）: LoopCTR: クリックスルーレート予測のためのループスケーリングパワーのロック解除
• Authors: Jiakai Tang, Runfeng Zhang, Weiqiu Wang, Yifei Liu, Chuan Wang, Xu Chen, Yeqiu Yang, Jian Wu, Yuning Jiang, Bo Zheng,
• Abstract要約: より多くのパラメータを積み重ねることで、Transformerベースのクリックスルーレート(CTR)モデルをスケールすることで、計算とストレージのオーバーヘッドが増大する。 学習時間の計算量を増加させるループスケーリングパラダイムを導入したLoopCTRを提案する。 3つの公開ベンチマークと1つの産業データセットの実験は、最先端のパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 30.25338458512745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling Transformer-based click-through rate (CTR) models by stacking more parameters brings growing computational and storage overhead, creating a widening gap between scaling ambitions and the stringent industrial deployment constraints. We propose LoopCTR, which introduces a loop scaling paradigm that increases training-time computation through recursive reuse of shared model layers, decoupling computation from parameter growth. LoopCTR adopts a sandwich architecture enhanced with Hyper-Connected Residuals and Mixture-of-Experts, and employs process supervision at every loop depth to encode multi-loop benefits into the shared parameters. This enables a train-multi-loop, infer-zero-loop strategy where a single forward pass without any loop already outperforms all baselines. Experiments on three public benchmarks and one industrial dataset demonstrate state-of-the-art performance. Oracle analysis further reveals 0.02--0.04 AUC of untapped headroom, with models trained with fewer loops exhibiting higher oracle ceilings, pointing to a promising frontier for adaptive inference.
• Abstract（参考訳）: より多くのパラメータを積み重ねることで、Transformerベースのクリックスルーレート(CTR)モデルをスケールすることで、計算とストレージのオーバーヘッドが増大し、スケーリングの野心と厳しい産業展開の制約の間にギャップが広がる。 本稿では,共有モデル層の再帰的再利用により,パラメータ成長から計算を疎結合にすることで,学習時間の計算量を増加させるループスケーリングパラダイムを提案する。 LoopCTRはHyper-Connected ResidualsとMixture-of-Expertsで強化されたサンドイッチアーキテクチャを採用しており、共有パラメータにマルチループの利点をエンコードするために、すべてのループ深さでプロセスの監視を採用する。 これにより、ループのない単一のフォワードが既にすべてのベースラインを上回っているような、マルチループのインフェルゼロループ戦略が可能になる。 3つの公開ベンチマークと1つの産業データセットの実験は、最先端のパフォーマンスを示している。 Oracle分析はさらに、未使用のヘッドルームの0.02--0.04 AUCを明らかにし、より高いオラクル天井を示すループの少ないモデルをトレーニングし、適応推論のための有望なフロンティアを示している。

関連論文リスト

• Parcae: Scaling Laws For Stable Looped Language Models [35.9547796403241]
  従来の固定深度アーキテクチャは、FLOPのトレーニングを増やすことで、通常、より高いメモリフットプリントやデータを犠牲にして、パラメータ化を増やすことで、品質をスケールする。 潜在的に代替となるのがループアーキテクチャであり、ループ内のレイヤブロックを通じてアクティベーションを送信することでFLOPを増大させる。 有望ではあるが、ループ化されたアーキテクチャをトレーニングするための既存のレシピは不安定になり、残余の爆発と損失のスパイクに悩まされる。 本稿では, 負の対角パラメータ化の離散化により, 射出パラメータのスペクトルノルムを制約する新しい安定ループアーキテクチャであるParcaeを提案する。
  論文  参考訳（メタデータ） (2026-04-14T16:43:37Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• Looping Back to Move Forward: Recursive Transformers for Efficient and Flexible Large Multimodal Models [63.47909317137073]
  大規模マルチモーダルモデル (LMM) は視覚言語計算タスクにおいて顕著な成功を収めた。 しかし、その膨大なパラメータ数は、トレーニングと推論の両方で利用されていないことが多い。 LMMに適した再帰トランスフォーマーアーキテクチャであるRecursiveVLMを提案する。
  論文  参考訳（メタデータ） (2026-02-09T17:58:23Z)
• LoopViT: Scaling Visual ARC with Looped Transformers [14.9105267508928]
  重み付け繰り返しによりモデル容量から深度を分離するLoop-ViTを提案する。 Loop-ViTは、局所的な畳み込みとグローバルな関心を組み合わせた、重み付けされたハイブリッドブロックを反復して、潜在的な思考の連鎖を形成する。 ARC-AGI-1ベンチマークの実証的な結果は、この視点を検証している。
  論文  参考訳（メタデータ） (2026-02-02T14:32:57Z)
• DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
  トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。 ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。 提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
  論文  参考訳（メタデータ） (2025-11-21T16:15:43Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Parallel Loop Transformer for Efficient Test-Time Computation Scaling [34.8255648599522]
  大規模言語モデル(LLM)は強力だが、推論中に現実世界で使うには遅すぎるしコストもかかる。 ループ変換器は、複数の計算ステップで同じ重みを再利用することでパラメータを節約する。 ループが次々と実行され、各追加ループで推論遅延とメモリ要求が増大する。
  論文  参考訳（メタデータ） (2025-10-28T15:35:50Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。