論文の概要: Towards a Densing Law for User Representation Learning at Billion-Scale Capacity
- arxiv url: http://arxiv.org/abs/2608.23392v1
- Date: Mon, 24 Aug 2026 15:38:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.180876
- Title: Towards a Densing Law for User Representation Learning at Billion-Scale Capacity
- Title（参考訳）: 数十億ドル規模のユーザ表現学習のためのデンシング法を目指して
- Abstract要約: 本稿では,データスケールと最小限のトークン化能力の関係を特徴付けるためのユーザ行動デンシング法を提案する。
トークン化能力の最小値の対数と,トークンによって測定された入力データサイズとの間には,およそ線形関係が認められた。
さらに,キャパシティ割り当てを改善する適応型可変長トークン化手法であるALGNを開発した。
- 参考スコア（独自算出の注目度）: 23.385857270290032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: User representation learning in real-world industrial scenarios is commonly scaled by increasing user amount, behavioral sequence length and model size. However, existing methods face two challenges: (i) Bottleneck for raw data scaling at billion-scale capacity, as performance exhibit diminishing performance gains with larger-scale raw text user behavioral input, which can be mitigated by tokenization. (ii) Lack of quantitative analysis of how tokenization configurations should scale with data size. In this report, we propose User Behavioral Densing Law for characterizing the quantitative relationship between data scale and the minimum sufficient tokenization capacity. Firstly, we conduct a pilot study on raw & tokenized scaling comparison on billion-scale Alipay dataset, revealing the raw data scaling bottleneck and the sustained gains enabled by tokenization. To derive the scaling pattern governing the minimum sufficient tokenization configuration at different data scales, theoretical analysis and systematic experiments are employed to summarize the quantitative scaling pattern. We find an approximately linear relationship between the logarithms of minimum sufficient tokenization capacity and input data size measured by tokens, and the scaling slope varies systematically with the tokenization method and data source, reflecting differences in representation-space redundancy and intra-source uniqueness. Guided by the proposed law, we further develop ALGN, an adaptive variable-length tokenization method that improves capacity allocation. Extensive experiments across diverse data sources, tokenization methods, and downstream tasks demonstrate the generalizability and reliability of the User Behavioral Densing Law, providing practical guidance for tokenization configuration selection in large-scale user representation learning. Moreover, ALGN outperforms existing baselines.
- Abstract（参考訳）: 実世界の産業シナリオにおけるユーザ表現学習は、ユーザ量、行動シーケンスの長さ、モデルサイズを増大させることで、一般的にスケールされる。
しかし、既存の方法は2つの課題に直面している。
一 数十億の容量で生データのスケーリングを行うため、大規模な生テキストユーザ行動入力によりパフォーマンスが向上し、トークン化によって緩和できるため、パフォーマンスが低下する。
(ii)トークン化設定をデータサイズでスケールする方法の定量的分析の欠如。
本稿では,データスケールと最小限のトークン化能力の量的関係を特徴付けるためのユーザ行動デンシング法を提案する。
まず,10億規模のAlipayデータセットの生およびトークン化スケーリング比較に関するパイロット研究を行い,トークン化による生データのスケーリングボトルネックと持続的なゲインを明らかにした。
異なるデータスケールで十分最小限のトークン化構成を規定するスケーリングパターンを導出するために、定量的スケーリングパターンを要約するために理論解析と系統実験を用いる。
トークンによって測定された最小十分なトークン化能力の対数と入力データサイズとの間には,ほぼ線形な関係が見られ,スケーリング勾配はトークン化法やデータソースと体系的に異なり,表現空間の冗長性とソース内特異性の違いを反映している。
提案法により,キャパシティ割り当てを改善する適応型可変長トークン化法であるALGNをさらに発展させる。
多様なデータソース、トークン化方法、下流タスクにわたる広範囲にわたる実験は、ユーザビヘイビアデンシング法の適用性と信頼性を示し、大規模ユーザ表現学習におけるトークン化構成選択の実践的なガイダンスを提供する。
さらに、ALGNは既存のベースラインよりも優れています。
関連論文リスト
- Data-Efficient Deep Learning: Empirical Guidelines for Training Set Size Estimation in Inertial Sensor Classification [0.0]
本稿では,バイナリとマルチクラスの両方のシナリオで分類性能を解析する統合フレームワークを提案する。
本稿では,学習曲線の安定化に必要なサンプルサイズとして定義される定量的安定点測定法を提案する。
小型のパイロット実験からデータ要求を抽出するための一般化可能なフレームワークを提供する。
論文 参考訳（メタデータ） (2026-07-10T13:30:28Z) - Scaling Laws for Reranking in Information Retrieval [24.00475965133032]
本稿では,リランカーのスケーリング法則に関する最初の体系的研究について述べる。
クロスエンコーダリランカーを用いた詳細なケーススタディを用いて、性能が予測可能なパワー則に従うことを示した。
本研究は,産業グレード検索システム構築のためのスケーリングの原則を確立し,実用的な洞察を提供するものである。
論文 参考訳（メタデータ） (2026-03-05T05:03:07Z) - Scaling Laws for Embedding Dimension in Information Retrieval [26.21690287784803]
埋め込み次元と検索性能の関係を包括的に分析する。
スケーリングの振る舞いは電力法則に適合しており、埋め込み次元のみを考慮して、パフォーマンスのスケーリング法則を導出することができる。
評価タスクがトレーニングタスクに沿っている場合, 埋め込みサイズが大きくなるにつれて, 性能が向上し続けていることを示す。
論文 参考訳（メタデータ） (2026-02-04T21:27:12Z) - Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。
既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。
そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-26T07:53:41Z) - Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks [100.13335639780415]
スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。
既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。
本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
論文 参考訳（メタデータ） (2025-05-29T03:19:17Z) - Compute Optimal Scaling of Skills: Knowledge vs Reasoning [50.76705503978189]
計算-最適スケーリングの振る舞いがスキルに依存しているかどうかを問う。
特に,知識に基づくQAやコード生成といった知識と推論に基づくスキルについて検討する。
本研究は,検証セットを用いた標準的な計算-最適スケーリングとの関連性について分析した。
論文 参考訳（メタデータ） (2025-03-13T05:21:22Z) - Scaling laws in wearable human activity recognition [19.49701947129144]
スケーリング法則は、モデルキャパシティと事前学習データボリュームをリンクすることで、より原則化された設計への移行を支援する可能性がある。
事前学習データとトランスフォーマーアーキテクチャの両方を網羅的に網羅的に探索することにより,HARのスケーリング法則を初めて確立する。
これらのスケーリング法則は,3つのHARベンチマークデータセットのダウンストリーム性能向上に寄与することを示す。
論文 参考訳（メタデータ） (2025-02-05T17:00:08Z) - Scaling Laws for the Value of Individual Data Points in Machine Learning [55.596413470429475]
個々のデータポイントの値のスケーリング行動を調べることによって、新しい視点を導入する。
スケーリング法則を支持するための学習理論を提供し、それが様々なモデルクラスにまたがっていることを実証的に観察する。
私たちの研究は、個々のデータポイントの値のスケーリング特性を理解し、活用するための第一歩です。
論文 参考訳（メタデータ） (2024-05-30T20:10:24Z) - Scaling Laws For Dense Retrieval [22.76001461620846]
本研究は,高密度検索モデルの性能が他のニューラルモデルと同様のスケーリング法則に従うかどうかを考察する。
その結果、我々の設定下では、高密度検索モデルの性能は、モデルサイズとアノテーション数に関連する正確なパワーロースケーリングに従っていることがわかった。
論文 参考訳（メタデータ） (2024-03-27T15:27:36Z) - Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。
重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文 参考訳（メタデータ） (2023-09-15T16:29:27Z) - A Solvable Model of Neural Scaling Laws [72.8349503901712]
大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。
我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。
主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
論文 参考訳（メタデータ） (2022-10-30T15:13:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。