論文の概要: zELO: ELO-inspired Training Method for Rerankers and Embedding Models

• arxiv url: http://arxiv.org/abs/2509.12541v1
• Date: Tue, 16 Sep 2025 00:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.826144
• Title: zELO: ELO-inspired Training Method for Rerankers and Embedding Models
• Title（参考訳）: zELO:ELOにインスパイアされたリランカーと埋め込みモデルのトレーニング方法
• Authors: Nicholas Pipitone, Ghita Houir Alami, Advaith Avadhanam, Anton Kaminskyi, Ashley Khoo,
• Abstract要約: 教師なしデータを用いて、最先端のオープンウェイトリランカモデルであるzerank-1とzerank-1-smallをトレーニングする。 これらのモデルは、金融、法務、コード、STEMを含む複数の領域で最高の検索スコアを得る。 トレーニングデータには、クエリ毎に112,000のクエリと100のドキュメントが含まれており、注釈のないクエリとドキュメントから1万時間未満でエンドツーエンドにトレーニングされた。
• 参考スコア（独自算出の注目度）: 0.02330164376631037
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce a novel training methodology named zELO, which optimizes retrieval performance via the analysis that ranking tasks are statically equivalent to a Thurstone model. Based on the zELO method, we use unsupervised data in order train a suite of state-of-the-art open-weight reranker models: zerank-1 and zerank-1-small. These models achieve the highest retrieval scores in multiple domains, including finance, legal, code, and STEM, outperforming closed-source proprietary rerankers on both NDCG@10 and Recall. These models also demonstrate great versatility, maintaining their 0-shot performance on out-of-domain and private customer datasets. The training data included 112,000 queries and 100 documents per query, and was trained end-to-end from unannotated queries and documents in less than 10,000 H100-hours.
• Abstract（参考訳）: 本稿では,分類タスクがサーストンモデルと静的に等価であるという分析を通じて,検索性能を最適化する,zELOという新しい学習手法を提案する。 zELO法に基づいて,Zerank-1とZerank-1-smallという,最先端のオープンウェイトリランカモデルをトレーニングするために教師なしデータを用いる。 これらのモデルは、NDCG@10とRecallの両方でクローズドソースプロプライエタリなリランカを上回り、金融、法務、コード、STEMを含む複数のドメインで最高の検索スコアを得る。 これらのモデルはまた、ドメイン外およびプライベートな顧客データセット上での0ショットのパフォーマンスを保ちながら、非常に汎用性を示している。 トレーニングデータには、クエリ毎に112,000のクエリと100のドキュメントが含まれており、注釈のないクエリとドキュメントから1万時間未満でエンドツーエンドにトレーニングされた。

関連論文リスト

• Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
  ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。 TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
  論文  参考訳（メタデータ） (2025-03-08T03:14:26Z)
• Agent-centric Information Access [21.876205078570507]
  大規模言語モデル(LLM)はより特殊化され、それぞれが独自のデータに基づいて訓練され、特定のドメインで優れたものとなる。 本稿ではエージェント中心の情報アクセスのためのフレームワークを紹介し,LLMは知識エージェントとして機能し,その知識に基づいて動的にランク付けされ,クエリされる。 本稿では,検索拡張生成とクラスタリング技術を活用して,数千の専門モデルの構築と評価を行うスケーラブルな評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-26T16:56:19Z)
• A Distributed Collaborative Retrieval Framework Excelling in All Queries and Corpora based on Zero-shot Rank-Oriented Automatic Evaluation [46.33857318525812]
  分散協調検索フレームワーク(DCRF)を提案する。 様々な検索モデルを統合システムに統合し、ユーザのクエリに対して最適な結果を動的に選択する。 RankGPTやListT5のような効果的なリストワイドメソッドに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2024-12-16T14:55:57Z)
• Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels [35.78121449099899]
  我々は,10個のゴールドレバレンスラベルを持つ小規模(100Mパラメータ未満)のニューラル情報検索モデルを訓練する手法を開発した。 RankLLamaは100K以上のラベルでトレーニングされた7Bパラメータモデルである。
  論文  参考訳（メタデータ） (2024-06-17T16:25:55Z)
• Large Language Model-guided Document Selection [23.673690115025913]
  大規模言語モデル(LLM)の事前学習は、ますます増加する計算予算を消費する。 近年の研究では、ドキュメントの選択がFLOPのごく一部で同等のモデル品質を実現することが実証されている。 拡張性のある汎用ドメイン文書選択のための有望な方向を探究する。
  論文  参考訳（メタデータ） (2024-06-07T04:52:46Z)
• Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
  私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。 パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。 セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-06T03:06:33Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking [36.90911173089409]
  大規模言語モデル(LLM)は、効果的なクエリ類似モデル(QLM)として登場した。 本稿では,近年のLLMにおけるゼロショットランキングの有効性について検討する。 LLMをベースとしたQLMとハイブリッドゼロショットレトリバーを統合した,最先端のランキングシステムを提案する。
  論文  参考訳（メタデータ） (2023-10-20T02:54:42Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。