論文の概要: OneRank: Unified Transformer-Native Ranking Architecture for Multi-Task Recommendation

• arxiv url: http://arxiv.org/abs/2606.16838v1
• Date: Mon, 15 Jun 2026 15:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:05.06904
• Title: OneRank: Unified Transformer-Native Ranking Architecture for Multi-Task Recommendation
• Title（参考訳）: OneRank: マルチタスクレコメンデーションのための統一トランスフォーマーネイティブランキングアーキテクチャ
• Authors: Jiakai Tang, Sunhao Dai, Kun Wang, Zhiluohan Guo, Yu Zhao, Cong Fu, Kangle Wu, Yabo Ni, Anxiang Zeng, Xu Chen, Jun Xu,
• Abstract要約: マルチタスク学習は,多様なユーザフィードバックの相補的な学習を可能にするために,レコメンデーションシステムにおいて不可欠である。 OneRankはトランスフォーマー中心のマルチタスクランキングフレームワークで、エンコーダと予測的分離を排除する。 OneRankは、大規模産業データセットのオフラインおよびオンライン実験において、最先端のベースラインを大幅に上回る。
• 参考スコア（独自算出の注目度）: 28.67407481470947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) is essential in recommender systems to enable complementary learning among diverse user feedback. While modern industrial practices have shifted from DNNs to Transformer-centric architectures to strengthen sequence modeling and scaling capacity, they still decouple feature encoding from multi-task prediction, treating the Transformer as a task-agnostic encoder. This design fundamentally limits the performance and scalability by (1) creating an information bottleneck under heterogeneous task objectives, (2) inducing gradient interference that leads to the seesaw phenomenon, and (3) forcing a dataflow transition in which attention-based, context-adaptive representation learning is converted to static feed-forward task prediction with incompatible information read-write dynamics. We propose OneRank, a Transformer-native multi-task ranking framework that eliminates encoder-predictor separation and introduces task-private channels for forward representation learning and backward optimization, enabling task-specialized learning while reducing inter-task interference. In the forward pass, OneRank learns task-specific representations bottom-up through task-conditioned information selection, candidate-aware contextualization, and controlled cross-task interaction. In the backward pass, cross-task gradient detachment isolates task-private parameter updates from shared knowledge extraction modules, preventing negative transfer. We further replace static task-specific MLP scorers with dynamic matching-based scoring for context-aware personalized ranking. By internalizing multi-task reasoning within the Transformer stack, OneRank establishes a unified and scalable architectural paradigm. Offline and online experiments on large-scale industrial datasets show that OneRank significantly outperforms state-of-the-art baselines while maintaining computational efficiency.
• Abstract（参考訳）: マルチタスク学習(MTL)は,多様なユーザフィードバックの相補的学習を可能にするレコメンデーションシステムにおいて不可欠である。 現代の産業プラクティスは、シーケンスモデリングとスケーリング能力を強化するためにDNNからTransformer中心のアーキテクチャに移行してきたが、それでもマルチタスク予測から機能のエンコーディングを分離し、Transformerをタスクに依存しないエンコーダとして扱う。 この設計は,(1)不均一なタスク対象の下で情報ボトルネックを発生させる,(2)シーソー現象につながる勾配干渉を誘導する,(3)注目に基づく文脈適応型表現学習を静的フィードフォワードタスク予測に変換するデータフロー遷移を強制するなど,パフォーマンスとスケーラビリティを根本的に制限する。 トランスフォーマーネイティブなマルチタスクランキングフレームワークであるOneRankを提案し、エンコーダと予測器の分離を排除し、前方表現学習と後方最適化のためのタスクプライベートチャネルを導入し、タスク特化学習を実現し、タスク間干渉を低減する。 フォワードパスにおいて、OneRankはタスク条件情報の選択、候補認識のコンテキスト化、制御されたクロスタスクインタラクションを通じてタスク固有のボトムアップを学習する。 後方通過において、クロスタスク勾配分離は、共有知識抽出モジュールからタスクプライベートパラメータの更新を分離し、負の転送を防止する。 さらに、静的タスク固有のMPPスコアラを動的マッチングベースのスコアラーに置き換えて、コンテキスト対応のパーソナライズされたランキングを作成する。 Transformerスタック内でマルチタスク推論を内部化することにより、OneRankは統一的でスケーラブルなアーキテクチャパラダイムを確立します。 大規模産業データセットのオフラインおよびオンライン実験は、OneRankが計算効率を維持しながら最先端のベースラインを大幅に上回っていることを示している。

関連論文リスト

• StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets [14.867396697566257]
  部分学習のセットアップをゼロショット設定に拡張し、複数のデータセット上でマルチタスクモデルをトレーニングします。 我々の方法であるStableMTLは、遅延回帰のために画像生成装置を再利用する。 タスク毎の損失に対して、注意深いバランスを必要とするのではなく、統一された潜伏損失を採用し、より多くのタスクにシームレスなスケーリングを可能にします。
  論文  参考訳（メタデータ） (2025-06-09T17:59:59Z)
• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
  Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。 最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。 本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T17:41:23Z)
• Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
  この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。 本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。 また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:06:57Z)
• Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
  トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。 連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。 本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T03:03:30Z)
• DeGMix: Efficient Multi-Task Dense Prediction with Deformable and Gating Mixer [129.61363098633782]
  変形およびゲーティングミキサー(DeGMix)を用いた効率的なマルチタスク密度予測法を提案する。 提案したDeGMixはGFLOPを少なくし、現在のTransformerベースの競合モデルとCNNベースの競合モデルを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-08-10T17:37:49Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• Omni-Training for Data-Efficient Deep Learning [80.28715182095975]
  近年の進歩により、適切に訓練されたモデルが重要な特性であるトランスファービリティを持つことが明らかとなった。 事前訓練とメタトレーニングの厳密な組み合わせは、どちらの種類のトランスファー可能性も達成できない。 このことが提案されているOmni-Trainingフレームワークを,データ効率のよいディープラーニングに動機付けている。
  論文  参考訳（メタデータ） (2021-10-14T16:30:36Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。