論文の概要: CROSS-JEM: Accurate and Efficient Cross-encoders for Short-text Ranking Tasks

• arxiv url: http://arxiv.org/abs/2409.09795v1
• Date: Sun, 15 Sep 2024 17:05:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 15:26:47.903303
• Title: CROSS-JEM: Accurate and Efficient Cross-encoders for Short-text Ranking Tasks
• Title（参考訳）: CROSS-JEM:短文ランキングタスクの正確かつ効率的なクロスエンコーダ
• Authors: Bhawna Paliwal, Deepak Saini, Mudit Dhawan, Siddarth Asokan, Nagarajan Natarajan, Surbhi Aggarwal, Pankaj Malhotra, Jian Jiao, Manik Varma,
• Abstract要約: トランスフォーマーベースのランキングモデルは、そのようなタスクに対する最先端のアプローチである。 CROSS-JEM(Joint Efficient Modeling)を用いたクロスエンコーダを提案する。 CROSS-JEMは、トランスフォーマーベースのモデルでクエリの複数の項目を共同でスコアすることを可能にする。 最先端の精度を実現し、標準のクロスエンコーダよりも4倍低いランクのレイテンシを実現している。
• 参考スコア（独自算出の注目度）: 12.045202648316678
• License:
• Abstract: Ranking a set of items based on their relevance to a given query is a core problem in search and recommendation. Transformer-based ranking models are the state-of-the-art approaches for such tasks, but they score each query-item independently, ignoring the joint context of other relevant items. This leads to sub-optimal ranking accuracy and high computational costs. In response, we propose Cross-encoders with Joint Efficient Modeling (CROSS-JEM), a novel ranking approach that enables transformer-based models to jointly score multiple items for a query, maximizing parameter utilization. CROSS-JEM leverages (a) redundancies and token overlaps to jointly score multiple items, that are typically short-text phrases arising in search and recommendations, and (b) a novel training objective that models ranking probabilities. CROSS-JEM achieves state-of-the-art accuracy and over 4x lower ranking latency over standard cross-encoders. Our contributions are threefold: (i) we highlight the gap between the ranking application's need for scoring thousands of items per query and the limited capabilities of current cross-encoders; (ii) we introduce CROSS-JEM for joint efficient scoring of multiple items per query; and (iii) we demonstrate state-of-the-art accuracy on standard public datasets and a proprietary dataset. CROSS-JEM opens up new directions for designing tailored early-attention-based ranking models that incorporate strict production constraints such as item multiplicity and latency.
• Abstract（参考訳）: クエリに関連する項目のセットをランク付けすることは、検索とレコメンデーションにおける中核的な問題である。 トランスフォーマーベースのランキングモデルは、このようなタスクに対する最先端のアプローチであるが、他の関連する項目のジョイントコンテキストを無視して、それぞれのクエリ項目を独立してスコア付けする。 これにより、準最適ランキング精度と計算コストが向上する。 そこで本研究では,パラメータ利用を最大化しながら,変換器ベースモデルでクエリに対して複数の項目を共同でスコア付けできる新しいランキング手法であるCROSS-JEMを用いたクロスエンコーダを提案する。 CROSS-JEM が活用 (a)冗長性とトークンが重なり合わさって複数の項目を共同でスコア付けし、通常検索・レコメンデーションで生じる短文句である。 b) ランク付け確率をモデル化する新たな訓練目標。 CROSS-JEMは最先端の精度を実現し、標準のクロスエンコーダよりも4倍低いランクのレイテンシを実現する。 私たちの貢献は3倍です。 (i)クエリ毎に数千のアイテムをスコアリングするランキングアプリケーションの必要性と、現在のクロスエンコーダの限られた機能とのギャップを強調します。 (II)クエリ毎に複数の項目を効率よく評価するCROSS-JEMを導入する。 3) 標準の公開データセットとプロプライエタリなデータセットに対して,最先端の精度を示す。 CROSS-JEMは、アイテムの多重度やレイテンシといった厳格な生産制約を組み込んだ、事前アテンションベースのランキングモデルを設計するための、新たな方向性を開く。

関連論文リスト

• Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders [77.84801537608651]
  クエリ-イムペアを共同で符号化することで類似性を計算するクロスエンコーダ(CE)モデルは、クエリ-イム関連性を推定する埋め込みベースモデル(デュアルエンコーダ)よりも優れている。 本稿では,潜時クエリとアイテム埋め込みを効率的に計算してCEスコアを近似し,CE類似度を近似したk-NN探索を行うスパース行列分解法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T17:14:34Z)
• List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
  本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。 提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-02-05T06:52:53Z)
• Beyond Two-Tower Matching: Learning Sparse Retrievable Cross-Interactions for Recommendation [80.19762472699814]
  2-towerモデルは、産業アプリケーションに広くデプロイされている推奨のための一般的なマッチングフレームワークである。 機能間相互作用の制限と、オンラインサービスにおける精度の低下など、主な課題が2つある。 我々は,高度な機能相互作用だけでなく,効率的な検索もサポートするSparCodeという新しいマッチングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:13:36Z)
• Improving Text Matching in E-Commerce Search with A Rationalizable, Intervenable and Fast Entity-Based Relevance Model [78.80174696043021]
  エンティティベース関連モデル(EBRM)と呼ばれる新しいモデルを提案する。 この分解により、高精度にクロスエンコーダQE関連モジュールを使用できる。 また、ユーザログから自動生成されたQEデータによるQEモジュールの事前トレーニングにより、全体的なパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-07-01T15:44:53Z)
• Retriever and Ranker Framework with Probabilistic Hard Negative Sampling for Code Search [11.39443308694887]
  本稿では,クエリとコードのセマンティックマッチングを共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Rankerフレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)
• Efficient k-NN Search with Cross-Encoders using Adaptive Multi-Round CUR Decomposition [77.4863142882136]
  クロスエンコーダモデルは、直接k-nearest neighbor(k-NN)サーチには不当に高価である。 本稿では,現実的に重要なトップk近傍の近似誤差を適応的に,反復的に,効率的に最小化するADACURを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:01:17Z)
• Multi-Label Learning to Rank through Multi-Objective Optimization [9.099663022952496]
  近年,情報検索システムではランク付け技法の学習が至るところで行われている。 あいまいさを解決するためには、多くの関連基準を用いてモデルを訓練することが望ましい。 本稿では,ラベルからの情報を様々な方法で組み合わせて,目標間のトレードオフを特徴付ける,汎用的な枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-07T03:02:11Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。