論文の概要: Theoretical Guarantees for LT-TTD: A Unified Transformer-based Architecture for Two-Level Ranking Systems

• arxiv url: http://arxiv.org/abs/2505.04434v1
• Date: Wed, 07 May 2025 14:01:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.100953
• Title: Theoretical Guarantees for LT-TTD: A Unified Transformer-based Architecture for Two-Level Ranking Systems
• Title（参考訳）: LT-TTDの理論的保証:2レベルランキングシステムのための統一トランスフォーマーベースアーキテクチャ
• Authors: Ayoub Abraich,
• Abstract要約: LT-TTD (Listwise Transformer with Two-Tower Distillation) は、検索とランキングフェーズをブリッジする新しい統合アーキテクチャである。 LT-TTDは, 知識蒸留強度に依存する因子によって, 検索不可能な関連項目の上限を下げることを示す。 また、統一されたランキングアーキテクチャに特化して設計された新しい評価指標UPQEを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern recommendation and search systems typically employ multi-stage ranking architectures to efficiently handle billions of candidates. The conventional approach uses distinct L1 (candidate retrieval) and L2 (re-ranking) models with different optimization objectives, introducing critical limitations including irreversible error propagation and suboptimal ranking. This paper identifies and analyzes the fundamental limitations of this decoupled paradigm and proposes LT-TTD (Listwise Transformer with Two-Tower Distillation), a novel unified architecture that bridges retrieval and ranking phases. Our approach combines the computational efficiency of two-tower models with the expressivity of transformers in a unified listwise learning framework. We provide a comprehensive theoretical analysis of our architecture and establish formal guarantees regarding error propagation mitigation, ranking quality improvements, and optimization convergence. We derive theoretical bounds showing that LT-TTD reduces the upper limit on irretrievable relevant items by a factor that depends on the knowledge distillation strength, and prove that our multi-objective optimization framework achieves a provably better global optimum than disjoint training. Additionally, we analyze the computational complexity of our approach, demonstrating that the asymptotic complexity remains within practical bounds for real-world applications. We also introduce UPQE, a novel evaluation metric specifically designed for unified ranking architectures that holistically captures retrieval quality, ranking performance, and computational efficiency.
• Abstract（参考訳）: 現代のレコメンデーションとサーチシステムは、数十億の候補を効率的に扱うために、多段階のランキングアーキテクチャを使用するのが一般的である。 従来の手法では、異なる最適化目標を持つ異なるL1(候補検索)とL2(再ランク付け)モデルを使用しており、不可逆的エラー伝搬や準最適ランキングを含む臨界制限を導入している。 本稿では, この分離されたパラダイムの基本的限界を特定し, LT-TTD (Listwise Transformer with Two-Tower Distillation) を提案する。 提案手法は,2towerモデルの計算効率と変圧器の表現性を組み合わせた一貫したリストワイド学習フレームワークである。 アーキテクチャの包括的な理論的解析を行い、エラー伝播緩和、ランキング品質の改善、最適化収束に関する正式な保証を確立する。 LT-TTDは、知識蒸留強度に依存する因子によって、到達不可能な関連項目の上限を下げることを示す理論的境界を導出し、我々の多目的最適化フレームワークが、解離トレーニングよりも確実に、大域的最適を達成することを証明した。 さらに,本手法の計算複雑性を解析し,漸近的複雑性が実世界の応用の実践的限界内にあることを示す。 また、検索品質、ランキング性能、計算効率を均等に把握する統合ランキングアーキテクチャ向けに設計された新しい評価指標UPQEを紹介する。

関連論文リスト

• A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization [4.703514158152835]
  Bilevelは最近、幅広いアプリケーションと高度な階層最適化機能のために、機械学習に大きな注目を集めている。 本稿では,双方向最適化手法の開発と解析を行うためのBOというプラグイン・アンド・プレイフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-02T13:26:43Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Untrained Filtering with Trained Focusing for Superior Quantum Architecture Search [14.288836269941207]
  量子アーキテクチャサーチ(QAS)は、量子機械学習における根本的な課題である。 探索過程を粗大かつきめ細かい知識学習の動的交互フェーズに分解する。 QUEST-Aは,多段階の知識伝達を促進するために,知識蓄積と再利用を伴う進化的メカニズムを開発する。
  論文  参考訳（メタデータ） (2024-10-31T01:57:14Z)
• Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
  本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。 本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。 私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2024-10-15T06:17:59Z)
• BAIT: Benchmarking (Embedding) Architectures for Interactive Theorem-Proving [13.374504717801061]
  本稿では,対話的定理証明における学習アプローチの公平かつ合理化された比較のためのフレームワークであるBAITを提案する。 BAITの機能を、いくつかのIPPベンチマークで詳細に比較して示す。 BAITはまた、インタラクティブ環境上に構築されたシステムのエンドツーエンドのパフォーマンスを評価することもできる。
  論文  参考訳（メタデータ） (2024-03-06T01:56:17Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Scalable Second Order Optimization for Deep Learning [34.12384996822749]
  本稿では,第2次プレコンディショニング手法のスケーラブルな実装について述べる(第2に,完全行列 Adagrad の変種)。 我々の新しい設計は、多コアCPUと複数のアクセラレーションユニットを組み合わせた深層モデルのトレーニングに、一般的な異種ハードウェアアーキテクチャを効果的に活用する。 本稿では,変換器を用いた機械翻訳,BERTによる言語モデリング,Criteoによるクリックスルー率予測,ResNet-50によるImageNetの画像分類など,非常に大規模な学習課題における最先端の学習性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T20:51:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。