論文の概要: Chain Dimension Scaling: Communication-Efficient Loop-Style Scaling for Industrial Short-Video Ranking
- arxiv url: http://arxiv.org/abs/2610.16415v1
- Date: Mon, 12 Oct 2026 08:49:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.340034
- Title: Chain Dimension Scaling: Communication-Efficient Loop-Style Scaling for Industrial Short-Video Ranking
- Title（参考訳）: チェーン次元スケーリング:産業用ショートビデオランキングのための通信効率の良いループスタイルスケーリング
- Abstract要約: 産業レコメンデーションローダは、幅と深さを数十億のパラメータまで拡大し続けるが、パラメータの増大、分散通信オーバーヘッド、トレーニングの非効率性のコストが増大する。
UnderlineChain UnderlineDimension UnderlineScaling (CDS)を紹介する。
CDSは繰り返し、イテレーション間でパラメータが共有される単一の機能-相互作用ブロックを適用しているので、イテレーションの数(チェーン長)は、パラメータを追加しない新しいスケーリングディメンションになる。
- 参考スコア（独自算出の注目度）: 18.06285124863344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Industrial recommendation rankers keep scaling in width and depth to billions of parameters, but this increasingly incurs costs in parameter growth, distributed communication overhead, and training inefficiency. We introduce \underline{C}hain \underline{D}imension \underline{S}caling (CDS), a scaling strategy orthogonal to width and depth. CDS repeatedly applies a single feature-interaction block with parameters shared across iterations, so the number of iterations (the chain length) becomes a new scaling dimension that adds no parameters. A lightweight intra-chain residual connection stabilizes optimization and improves quality. CDS enables two regimes. In the \emph{compression regime}, shallow blocks with a longer chain match deeper baselines with fewer parameters and faster training; in the \emph{quality-scaling regime}, increasing chain length under a fixed parameter budget yields consistent offline and online gains, suggesting the chain dimension adds modeling capacity beyond parameter reuse. We evaluate CDS in a large-scale multi-task short-video ranking system in production. In the compression regime, CDS stays within $0.03\%$ of baseline offline quality while reducing trainable parameters by 26.6\% and improving training throughput by 6.4\%, with neutral-to-positive online participation. In the quality-scaling regime, quality improves monotonically with chain length. Wall-clock analysis shows the efficiency gain comes mainly not from reduced FLOPs but from lower cross-device synchronization overhead and reduced optimizer update cost. These results position parameter-shared iterative computation as a practical, communication-efficient scaling axis for industrial ranking systems.
- Abstract（参考訳）: 産業レコメンデーションローダは、幅と深さを数十億のパラメータまで拡大し続けるが、パラメータの増大、分散通信オーバーヘッド、トレーニングの非効率性のコストが増大する。
幅と深さに直交するスケーリング戦略であるCDS(Sharedline{C}hain \underline{D}imension \underline{S}caling)を導入する。
CDSは繰り返し、イテレーション間でパラメータが共有される単一の機能-相互作用ブロックを適用しているので、イテレーションの数(チェーン長)は、パラメータを追加しない新しいスケーリングディメンションになる。
軽量なチェーン内残差接続は最適化を安定化し、品質を改善する。
CDSは2つのレギュレーションを許容する。
\emph{quality-scaling regime} では、固定パラメータ予算の下でのチェーン長の増加は、一貫したオフラインおよびオンラインゲインをもたらし、連鎖次元はパラメータ再利用以上のモデリング能力を追加することを示唆している。
大規模マルチタスク・ショートビデオランキングシステムにおけるCDSの評価を行った。
圧縮体制では、CDSはベースラインのオフライン品質の0.03 %以内にとどまり、トレーニング可能なパラメータを26.6 %削減し、トレーニングのスループットを6.4 %改善し、中立から正のオンライン参加が可能である。
品質スケーリング体制では、品質はチェーン長で単調に改善される。
ウォールクロック解析によると、効率の向上は主にFLOPの削減ではなく、デバイス間の同期オーバーヘッドの低減とオプティマイザ更新コストの削減によるものである。
これらの結果から,産業用ランキングシステムにおける実践的,コミュニケーション効率の高いスケーリング軸として,パラメータ共有反復計算が実現された。
関連論文リスト
- Efficient Linear Bandits via Cluster-Aware Sketching [49.7868381442861]
有限なアームセットを持つ高次元設定における線形包帯の計算効率の問題について検討する。
線形帯域では、特徴ベクトルの次元$d$の増加は、更新毎にO(d2)$の計算コストを増大させる。
SOFULのような伝統的なスケッチベースの手法は、固定サイズの行列スケッチによる計算を減らすが、空虚な線形後悔を引き起こすリスクを負う。
論文 参考訳（メタデータ） (2026-09-23T09:10:29Z) - TEMPER: Tensorized Efficient Manifold-constrained Parameterization for Expressive Residual Routing [7.909872430050534]
残留接続は静的な残留経路に依存しており、ディープニューラルネットワークのトレーニングに必須である。
underlinetextbf Tensorized underlinetextbfEfficient underlinetextbfManifold-constrained underlinetextbfParameterization for underlinetextbfExpressive Residual underlinetextbfRouting。
論文 参考訳（メタデータ） (2026-08-08T01:45:27Z) - Accelerating Long-Tail Generation in Synchronous RLHF Training via Adaptive Tensor Parallelism [11.019309466529643]
本稿では,各RLHFイテレーションの生成段階でTPを再構成する適応型TP手法であるPATを提案する。
オンライン再構成メカニズムは、TPの変更によって影響を受ける状態とレイアウトだけを更新する。
PATは、オリジナルのVeRLセットアップと比較して、生成遅延を最大34.6%削減し、エンドツーエンドのRLHFトレーニングレイテンシを最大27.2%削減する。
論文 参考訳（メタデータ） (2026-05-03T05:53:32Z) - Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳（メタデータ） (2025-12-10T01:54:57Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。
プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。
そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-25T05:30:26Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳（メタデータ） (2022-04-02T09:50:19Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。