論文の概要: ScaleToT: Generalizing Structured LLM Reasoning for Billion-Scale Low-Activity User Modeling

• arxiv url: http://arxiv.org/abs/2606.24605v1
• Date: Tue, 23 Jun 2026 14:05:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.996492
• Title: ScaleToT: Generalizing Structured LLM Reasoning for Billion-Scale Low-Activity User Modeling
• Title（参考訳）: ScaleToT: 10億ドル規模の低活性ユーザモデリングのための構造化LDM推論の一般化
• Authors: Tianbao Ma, Chang Xi, Yichuan Zou, Chengen Li, Linxun Chen, Zilong Lu, Yanan Niu, Zhaojie Liu, Han Li, Kun Gai,
• Abstract要約: 大規模言語モデルは、静的プロファイルから潜在ユーザ状態を推測できるが、プロファイルがスパースである場合には、この推論は信頼できない。 我々は,LLM処理された小さなサブセットから構造化推論を学習し,それをより広い低活性ユーザ集団に拡張するScaleToTを提案する。 我々は,10億規模の広告展開において,生涯価値(LTV)予測に基づいてScaleToTを評価する。
• 参考スコア（独自算出の注目度）: 18.290340476329266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate user modeling often depends on rich interaction histories, which are unavailable for billions of low-activity users. Large Language Models (LLMs) can infer latent user states from static profiles, but this reasoning becomes unreliable when profiles are sparse, and applying an LLM to billions of users is prohibitively expensive. We present ScaleToT, which learns structured reasoning from a small LLM-processed subset and extends it to the broader low-activity user population. To improve reasoning reliability, ScaleToT constructs typed user-state chains with a bounded entropy-guided Tree-of-Thought (ToT) refinement procedure. To make this structured reasoning usable from sparse profiles, the teacher-curated chains are used to train a student model on static profiles through supervised fine-tuning (SFT) and Outcome-Driven Segment-Aware Implicit Reward Policy Optimization (OSIPO). ScaleToT then transfers the student's reasoning representations to a lightweight profile encoder, providing shared reasoning signals for the remaining users without LLM inference. We evaluate ScaleToT on lifetime value (LTV) prediction in a billion-scale advertising deployment. A randomized online A/B test increased LT30 by 6.738\%, while offline reasoning covered only 7.32\% of the potential population, greatly reducing compute cost compared with full-population reasoning.
• Abstract（参考訳）: 正確なユーザモデリングは、何十億もの低活性ユーザにとって利用できないリッチなインタラクション履歴に依存することが多い。 大規模言語モデル(LLM)は静的プロファイルから潜在ユーザ状態を推測できるが、プロファイルがスパースである場合には信頼性が低くなり、数十億のユーザに対してLLMを適用するのは違法なコストがかかる。 我々は,LLM処理された小さなサブセットから構造化推論を学習し,それをより広い低活性ユーザ集団に拡張するScaleToTを提案する。 推論の信頼性を向上させるため、ScaleToTは、有界エントロピー誘導木(ToT)改質手順で型付きユーザステートチェーンを構築する。 この構造的推論をスパースプロファイルから利用できるようにするために、教師付きチェーンを使用して、教師付き微調整(SFT)とアウトカム駆動セグメンテーション・アウェア・インプリシット・リワードポリシー最適化(OSIPO)を通じて、静的プロファイルの学生モデルをトレーニングする。 次にScaleToTは、学生の推論表現を軽量なプロファイルエンコーダに転送し、LCM推論なしで残りのユーザに対して共通の推論信号を提供する。 我々は,10億規模の広告展開において,生涯価値(LTV)予測に基づいてScaleToTを評価する。 ランダム化されたオンラインA/BテストはLT30を6.738\%増加させ、オフライン推論は潜在的人口の7.32\%しかカバーしていない。

関連論文リスト

• Atropos: Improving Cost-Benefit Trade-off of LLM-based Agents under Self-Consistency with Early Termination and Model Hotswap [4.950224736359097]
  アトロポスは予測的な早期終了分析とホットスワップ技術である。 自己整合性(self-consistency)を利用するLCMベースのエージェントのコスト対効果のトレードオフを改善することを目的としている。 ATROPOSは閉じたLCMの性能の74.35%を達成し、コストは23.9%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-04-16T14:39:36Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• ShadowLLM: Predictor-based Contextual Sparsity for Large Language Models [67.97667465509504]
  我々は,LLMの挙動を隠蔽し,より親密なパターンを強制できる新しい予測器であるShadowLLMを開発した。 ShadowLLMは最先端のDejaVuフレームワーク上で最大20%のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-06-24T13:41:08Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• Error-driven Pruning of Language Models for Virtual Assistants [7.893832677040097]
  仮想アシスタント(VA)のための言語モデル(LM)は、通常、大量のデータで訓練されます。 より緩和された刈り取りしきい値を必要とするn-gramのキープリストを許可することで、エントロピーの刈り取りをカスタマイズする。 また,最大 lm で達成された wer の成果の大部分を保ちつつ,lm の大きさを小さくする判別手法を提案する。
  論文  参考訳（メタデータ） (2021-02-14T18:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。