論文の概要: ECHO: Efficient Cascade with Homogeneous Operators for Distillation-Guided 100K-Sequence Modeling

• arxiv url: http://arxiv.org/abs/2610.28569v1
• Date: Tue, 20 Oct 2026 17:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.949039
• Title: ECHO: Efficient Cascade with Homogeneous Operators for Distillation-Guided 100K-Sequence Modeling
• Title（参考訳）: ECHO:蒸留誘導100Kシーケンスモデリングのための均一演算子を用いた効率的なカスケード
• Abstract要約: ECHO(Efficient Cascade with Homogeneous Operators)は、効率性と詳細な検索のバランスをとるフレームワークである。 ECHOは、オンラインシーケンスブランチFLOPを、代表的なエンドツーエンドモデルと比較して約160倍削減する。 一般的なユーザ入力、コンパクトレコードエンコーディング、キー側のプロジェクション吸収を含む3つのデプロイメント最適化により、メモリ、ストレージ、データ移動オーバーヘッドはさらに削減される。
• 参考スコア（独自算出の注目度）: 33.9708983437612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling lifetime user behavior sequences is essential for capturing long-range preferences in industrial recommendation, yet 100K-length user sequences make target-aware ranking prohibitively expensive. Search-based methods that retrieve from raw sequences incur candidate-dependent costs that grow with sequence length, whereas latent compression methods reduce computation at the expense of item-level addressability. We propose ECHO (Efficient Cascade with Homogeneous Operators), a framework that balances efficiency and fine-grained retrieval by retaining a subset of original event records per user via a Distilled Selector (DS) and retrieving a smaller set of target-relevant records per candidate via a Target-aware Fine-grained Retriever (TFR). DS is supervised by a candidate-aware full-history teacher via per-target distillation, enabling target-aware user-level selection without incurring full-history computation for every candidate. The retriever and target-attention scorer share the teacher's learned relevance parameters, ensuring consistent relevance estimation across the cascade. At a sequence length of L = 100K, ECHO reduces online sequence-branch FLOPs by approximately 160x compared with a representative end-to-end model. Three deployment optimizations, including common user inputs, compact record encoding, and key-side projection absorption, further reduce memory, storage, and data-movement overhead. Experiments on KuaiRand-1K and an industrial-scale short-video platform demonstrate relative GAUC improvements of 0.113%-1.520% over state-of-the-art (SOTA) baselines across multiple tasks. Furthermore, online A/B testing shows a 0.613% improvement in app usage time.
• Abstract（参考訳）: 産業レコメンデーションにおいて、ライフタイムのユーザ行動シーケンスをモデル化することは、長距離の嗜好を捉えるのに不可欠であるが、100Kのユーザシーケンスは、ターゲット認識のランキングを違法に高価にしている。 探索に基づく探索手法は、列長とともに増大する候補依存コストを発生させるが、遅延圧縮法はアイテムレベルのアドレナビリティを犠牲にして計算を減少させる。 提案するECHO(Efficient Cascade with Homogeneous Operators)は,DS(Distilled Selector)を介してユーザ毎のオリジナルイベントレコードのサブセットを保持し,TFR(Target-aware Fine-fine Retriever)を介して,候補毎のターゲット関連レコードの小さなセットを取得することで,効率性ときめ細かな検索のバランスをとるフレームワークである。 DSは、ターゲットごとの蒸留を通じて、候補を意識したフルヒストリーの教師によって指導され、すべての候補に対してフルヒストリーの計算を行うことなく、ターゲットを意識したユーザレベルの選択を可能にする。 レトリバーとターゲットアテンションスコアラーは、教師の学習された関連パラメータを共有し、カスケード全体で一貫した関連性推定を保証する。 L = 100Kのシーケンス長では、ECHOは代表的なエンドツーエンドモデルと比較して、オンラインシーケンスブランチFLOPを約160倍削減する。 一般的なユーザ入力、コンパクトレコードエンコーディング、キー側のプロジェクション吸収を含む3つのデプロイメント最適化により、メモリ、ストレージ、データ移動オーバーヘッドはさらに削減される。 KuaiRand-1Kと工業規模のショートビデオプラットフォームの実験では、複数のタスクにわたるSOTA(State-of-the-art)ベースラインに対して、GAUCの相対的な0.113%-1.520%の改善が示されている。 さらに、オンラインのA/Bテストでは、アプリ使用時間が0.613%改善している。

関連論文リスト

• SequenceO1: End-to-End Ultra-Long (100K) Sequence Modeling in Recommendation with Low-Rank Caching [17.335538522124555]
  SequenceO1は、超長期のユーザ行動シーケンスモデリングのためのエンドツーエンドフレームワークである。 Douyinのフルトラフィックにデプロイされ、最大100Kのインタラクション履歴がある。 結果は、オフラインとオンラインの連続的なゲインを示しているが、スケッチは、エンドツーエンドのシーケンスランキングを直接100Kにスケーリングするメリットの大部分を保っている。
  論文  参考訳（メタデータ） (2026-09-08T08:49:44Z)
• Prof-K: Probabilistic One-Pass Filtering for Efficient Top-k Selection [11.90858984464117]
  Prof-Kは確率論的正当性を保証する高速でスケーラブルで分布に依存しないトップkアルゴリズムである。 我々は、ほぼ最適なサンプルサイズとともに、精度とバッファサイズを高い確率で保証する。 Prof-K は高度に最適化された PyTorch topk と最近の RadiK 実装で1.5x-10x の高速化を実現している。
  論文  参考訳（メタデータ） (2026-08-12T20:31:33Z)
• Multi-Decoder OneRec: Controllable Generative Retrieval for Multi-Objective Industrial Recommendation [42.92484041045021]
  Multi-Decoder OneRecは、共有表現、分離された目的適応、コーディネートされたデコードを組み合わせた、制御可能なフレームワークである。 我々はKwai26をリリースした。Kwai26は、13億の生のアイテムレベルのレコード、31.85万のアイテムIDエントリ、有効なセマンティックIDを備えた25.03万のアイテムを備えた大規模なマルチオブジェクトベンチマークである。 同じ512イットの検索予算の下で、Multi-Decoder OneRecは4つのRecall@512メトリクスに対して、1デコーダOneRecベースラインを1.69%-5.62%改善している。
  論文  参考訳（メタデータ） (2026-07-29T05:54:19Z)
• RECAP: Feedback-Driven Streaming Semantic User Profiles for Short-Video Recommendation [74.86562505934961]
  言語ベースのユーザプロファイルは、長い行動履歴をレコメンデーションのために明示的な意味表現に変換する。 そこでは,ストリームやプロファイルの更新を限定的に行うことで,ユーザの行動が継続的に到着する,実世界のショートビデオレコメンデーションにおいて,この問題について検討する。 本稿では,ストリーミング構造化されたセマンティックプロファイルを過去のレコメンデーションフィードバックで最適化するためのオフラインクローズドループフレームワークRECAPを提案する。
  論文  参考訳（メタデータ） (2026-07-17T08:10:37Z)
• GenRec: A Preference-Oriented Generative Framework for Large-Scale Recommendation [14.663434490160016]
  我々は、JD App上にデプロイされた嗜好指向の生成フレームワークであるGenRecを紹介する。 月のオンラインA/Bテストでは、GenRecは9.5%のクリック数の改善と8.7%のトランザクション数を達成した。
  論文  参考訳（メタデータ） (2026-04-16T11:07:05Z)
• GRank: Towards Target-Aware and Streamlined Industrial Retrieval with a Generate-Rank Framework [47.25361445845229]
  産業規模のレコメンデータシステムはカスケードパイプラインに依存しており、検索段階では何十億ものアイテムから設定されたハイリコール候補を厳格なレイテンシで返さなければならない。 本稿では,ユーザ中心の検索とターゲット認識学習をシームレスに統一する新しい構造化インデックスフリー検索パラダイムであるGRankを提案する。
  論文  参考訳（メタデータ） (2025-10-17T04:15:09Z)
• Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders [77.84801537608651]
  クエリ-イムペアを共同で符号化することで類似性を計算するクロスエンコーダ(CE)モデルは、クエリ-イム関連性を推定する埋め込みベースモデル(デュアルエンコーダ)よりも優れている。 本稿では,潜時クエリとアイテム埋め込みを効率的に計算してCEスコアを近似し,CE類似度を近似したk-NN探索を行うスパース行列分解法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T17:14:34Z)
• Efficient k-NN Search with Cross-Encoders using Adaptive Multi-Round CUR Decomposition [77.4863142882136]
  クロスエンコーダモデルは、直接k-nearest neighbor(k-NN)サーチには不当に高価である。 本稿では,現実的に重要なトップk近傍の近似誤差を適応的に,反復的に,効率的に最小化するADACURを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。