論文の概要: Unified Multi-Task Relevance Modeling for E-Commerce: Comparing Task Routing Architectures Across LLMs and Cross-Encoders

• arxiv url: http://arxiv.org/abs/2606.23919v1
• Date: Mon, 22 Jun 2026 20:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.684323
• Title: Unified Multi-Task Relevance Modeling for E-Commerce: Comparing Task Routing Architectures Across LLMs and Cross-Encoders
• Title（参考訳）: 電子商取引のための統一マルチタスク関連モデリング:LCMとクロスエンコーダ間のタスクルーティングアーキテクチャの比較
• Authors: Md Omar Faruk Rokon, Jhalak Nilesh Acharya, Shasvat Desai, Hong Yao, Kuang-chih Lee,
• Abstract要約: 現在の業界プラクティスは、各タスクごとに別々のモデルに依存しており、知識の伝達を防ぎ、一貫性のない関連信号を生成する。 エンコーダベースとデコーダのみモデルで、さまざまなメカニズムを通じてタスクのアイデンティティをエンコードします。 共有3点関係尺度の下で6つのエンティティペアタスクを共同で訓練する統合マルチタスクフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.423726451729119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can we build a single relevance model that handles six different entity pair relationship types in e commerce from query product matching to product type similarity when each task has different data volumes, different semantic requirements, and potentially conflicting learning signals? This question is important because current industry practice relies on separate models for each task, preventing knowledge transfer and producing inconsistent relevance signals. Our work is driven by the following insight: encoder based and decoder only models encode task identity through different mechanisms, so the choice of task routing architecture how task identity is communicated to the shared model affects these two families in asymmetric ways. As our key novelty, we combine three ideas: (a) a unified multi task framework that jointly trains on six entity pair tasks under a shared three point relevance scale, (b) a systematic comparison of three task routing architectures (text prefix routing, multi head classification, and multihead with private transformer layers) across both LoRA adapted LLMs and fully finetuned cross encoders, and (c) a majority vote ensemble that exploits the diversity induced by private layer routing. First, we show that the MHP Ensemble (multi head with private layers) achieves 89.96% accuracy on 453K test examples the highest across all configurations . Second, we show that removing text prefixes without private layers causes severe degradation for decoder only LLMs while cross encoders remain robust , suggesting an encoder decoder asymmetry in task identity encoding. Third, we show that multi task training yields up to 14% improvement on low resource tasks over single task baselines.
• Abstract（参考訳）: クエリ製品マッチングから、各タスクが異なるデータボリューム、異なるセマンティック要件、潜在的に矛盾する学習信号を持つ場合の製品タイプの類似性まで、eコマースにおいて6つの異なるエンティティペア関係タイプを処理する単一の関連モデルを構築するにはどうすればよいのか? この問題は、現在の業界慣行が各タスクごとに別々のモデルに依存し、知識伝達を防止し、一貫性のない関連信号を生成するため重要である。 エンコーダベースとデコーダのみモデルが異なるメカニズムを通してタスクアイデンティティをエンコードするので、タスクルーティングアーキテクチャの選択は、タスクアイデンティティを共有モデルと通信する方法が、これらの2つのファミリーに非対称な方法で影響を及ぼす。 重要なノベルティとして、私たちは3つのアイデアを組み合わせています。 (a)共有三点関係尺度の下で、6つのエンティティペアタスクを共同で訓練する統合マルチタスクフレームワーク。 b) LoRA 適応 LLM と完全微調整クロスエンコーダの両層にまたがる3つのタスクルーティングアーキテクチャ(テキストプレフィックスルーティング,マルチヘッド分類,マルチヘッド層とプライベートトランスフォーマー層)の体系的比較 (c)プライベートレイヤルーティングによって誘導される多様性を活用する多数決アンサンブル。 まず、MHP Ensemble(プライベートレイヤを持つマルチヘッド)は、453Kテスト例で89.96%の精度を達成していることを示す。 第2に, テキストプレフィックスをプライベートレイヤなしで削除すると, LLMのみのデコーダが大幅に劣化し, クロスエンコーダはロバストであり, タスクID符号化におけるエンコーダの非対称性が示唆される。 第3に、マルチタスクトレーニングは、単一のタスクベースラインよりも低リソースタスクを最大14%改善することを示す。

関連論文リスト

• Single-Input Multi-Output Model Merging: Leveraging Foundation Models for Dense Multi-Task Learning [46.51245338355645]
  モデルマージは、シングルタスクのチェックポイントをマルチタスクモデルにマージするための、柔軟で計算的に抽出可能なアプローチである。 本研究は,タスク固有デコーダの存在により,文献で研究されている単一入出力・複数出力モデルのマージ設定と定性的に異なることを示す。 SIMO設定に対する2つの単純かつ効率的な修正を提案し,統合後の特徴表現を再調整する。
  論文  参考訳（メタデータ） (2025-04-15T15:10:46Z)
• M3Net: Multimodal Multi-task Learning for 3D Detection, Segmentation, and Occupancy Prediction in Autonomous Driving [48.17490295484055]
  M3Netは、自動運転の検知、セグメンテーション、および3D占有率予測に同時に取り組む新しいネットワークである。 M3NetはnuScenesベンチマークで最先端のマルチタスク学習性能を達成する。
  論文  参考訳（メタデータ） (2025-03-23T15:08:09Z)
• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [79.58755811919366]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception [64.80760846124858]
  本稿では,様々な知覚タスクの表現を調和させる新しい統一表現RepVFを提案する。 RepVFは、ベクトル場を通じてシーン内の異なるターゲットの構造を特徴付け、シングルヘッドでマルチタスクの学習モデルを可能にする。 RepVF 上に構築された RFTR は,タスク間の固有性を利用したネットワークである。
  論文  参考訳（メタデータ） (2024-07-15T16:25:07Z)
• Do Text-to-Text Multi-Task Learners Suffer from Task Conflict? [17.861704408540444]
  NLP内の新しいマルチタスク学習は、共有エンコーダと言語モデルデコーダとしてマルチタスクアーキテクチャを均質化する。 テキスト・ツー・テキスト・モデルへの移行に伴う要因がマルチタスク・コンフリクトやネガティブ・トランスファーにどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-12-13T15:28:57Z)
• Multi-Task Learning with Multi-Query Transformer for Dense Prediction [38.476408482050815]
  本稿では,複数のタスク間の推論を容易にするために,Multi-Query Transformer (MQ Transformer) という単純なパイプラインを提案する。 異なるタスク間での高密度なピクセル単位のコンテキストをモデル化する代わりに、タスク固有のプロキシを使ってクロスタスク推論を行う。 実験の結果,提案手法は有効な手法であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-05-28T06:51:10Z)
• Transformer is All You Need: Multimodal Multitask Learning with a Unified Transformer [24.870827400461682]
  本稿では,異なる領域にまたがるタスクを同時に学習するUnified Transformerモデルを提案する。 トランスエンコーダデコーダアーキテクチャに基づいて、UniTモデルは各入力モダリティをエンコーダでエンコーダし、各タスクで予測を行います。 モデル全体は、各タスクからの損失を伴うエンドツーエンドのトレーニングを共同で行います。
  論文  参考訳（メタデータ） (2021-02-22T04:45:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。