論文の概要: xPRT: Cross-Passage Retrieval Pretraining

• arxiv url: http://arxiv.org/abs/2610.40122v1
• Date: Thu, 29 Oct 2026 14:18:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 08:13:46.558828
• Title: xPRT: Cross-Passage Retrieval Pretraining
• Title（参考訳）: xPRT: クロスパス検索事前トレーニング
• Abstract要約: xPRT(Cross-Passage Retrieval Pretraining)は、ドキュメント全体に分散するキー情報から学習する、教師なしのフレームワークである。 我々は, MTEB English v2の5つの最先端目標に対してxPRTを評価し, 公開チェックポイントからの事前訓練を継続する。
• 参考スコア（独自算出の注目度）: 5.04301049844329
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Dense retrievers are a foundational component underlying modern RAG and search systems. Training these models typically requires a curated collection of annotated query-document pairs, which are prohibitively expensive to obtain outside a handful of well-resourced domains. This has motivated a line of work that leverages large-scale unsupervised retrieval pretraining from unlabelled text alone. Most such methods learn by optimizing a language modelling or contrastive learning objective over short spans within a document. This raises the question: how can we extract richer learning signals from a single document for retrieval pretraining? To address it, we introduce xPRT (Cross-Passage Retrieval Pretraining), an unsupervised framework that learns from the key information distributed across an entire document and the connections between its parts. We evaluate xPRT against five state-of-the-art objectives on MTEB English v2, continuing pretraining from a public unsupervised checkpoint while holding the corpus, schedule, and training procedure fixed. Across diverse tasks spanning all task types, we observe that xPRT consistently outperforms the strongest baseline by 3.2% on an average. Notably, in this continual pretraining setting, many baseline methods incur substantial performance regressions, whereas our method delivers the largest complementary gains over the initial pretrained checkpoint. Controlled ablations confirm that xPRT's performance gains stem from its proposed cross-passage signals. xPRT demonstrates that a single unlabelled document is a much richer source of retrieval signal than prior work assumed and offers complementary gains to what current retrievers already capture.
• Abstract（参考訳）: デンスレトリバーは、現代のRAGとサーチシステムの基礎となる基礎的なコンポーネントである。 これらのモデルをトレーニングするには、典型的には注釈付きクエリドキュメントペアのキュレートされたコレクションが必要です。 これは、不正テキストのみから学習する大規模な教師なし検索を活用する一連の作業のモチベーションとなった。 このような手法のほとんどは、文書内の短い範囲で言語モデリングや対照的な学習目標を最適化することで学習する。 単一のドキュメントからよりリッチな学習信号を抽出して、事前学習を行うにはどうすればよいのか? このフレームワークは、ドキュメント全体とその部分間の接続を分散したキー情報から学習する。 MTEB English v2の5つの最先端目標に対してxPRTを評価し,コーパス,スケジュール,トレーニング手順を定めながら,公開チェックポイントからの事前訓練を継続した。 すべてのタスクタイプにまたがるさまざまなタスクにおいて、xPRTは平均して3.2%という最強のベースラインを一貫して上回ります。 特に、この連続事前学習環境では、多くのベースライン手法が実質的な性能低下を招き、一方、本手法は、初期事前訓練チェックポイントに対して最大の相補的ゲインを提供する。 制御アブレーションにより、xPRTの性能向上は、提案されたクロスパス信号によるものであることを確認した。 xPRTは、単一のラベルのないドキュメントが、以前想定していたよりもずっとリッチな検索信号のソースであることを示し、現在の検索者が既に取得したデータに補完的な利得を提供する。

関連論文リスト

• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Self-supervised Pre-training of Text Recognizers [0.0]
  マスク付きラベル予測に基づく自己教師付き事前学習手法について検討する。 我々は、歴史的手書き(ベンサム)と歴史的印刷データセットの実験を行う。 評価の結果,対象領域からのデータの自己教師付き事前学習は非常に効果的であるが,近縁領域からの移行学習よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-01T09:58:57Z)
• In-context Pretraining: Language Modeling Beyond Document Boundaries [137.53145699439898]
  In-Context Pretrainingは、言語モデルが関連するドキュメントのシーケンスで事前トレーニングされる新しいアプローチである。 本稿では, 近接探索を効率的に行うための近似アルゴリズムを提案する。 より複雑なコンテキスト推論を必要とするタスクの顕著な改善が見られます。
  論文  参考訳（メタデータ） (2023-10-16T17:57:12Z)
• Weakly Supervised Pre-Training for Multi-Hop Retriever [23.79574380039197]
  本研究では,人的努力を伴わない,弱教師付きマルチホップレトリバーの事前学習手法を提案する。 提案手法は,1)複雑な質問のベクトル表現を生成するための事前学習タスク,2)厳密なエンコーダに基づく事前学習モデル構造として,質問とサブクエストのネスト構造を生成するスケーラブルなデータ生成手法を含む。
  論文  参考訳（メタデータ） (2021-06-18T08:06:02Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。