論文の概要: Querit-Reranker: Training Compact Multilingual Rerankers via Efficient Label-Free Distribution Adaptation

• arxiv url: http://arxiv.org/abs/2606.19037v1
• Date: Wed, 17 Jun 2026 13:06:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.170826
• Title: Querit-Reranker: Training Compact Multilingual Rerankers via Efficient Label-Free Distribution Adaptation
• Title（参考訳）: Querit-Reranker: 効率的なラベルフリー分布適応による小型多言語リランカの訓練
• Authors: Yunfei Zhong, Jun Yang, Wei Huang, Yinqiong Cai, Haosheng Qian, Yixing Fan, Ruqing Zhang, Lixin Su, Daiting Shi, Jiafeng Guo,
• Abstract要約: データ中心のパイプラインでトレーニングされた多言語クロスエンコーダリランカのファミリーであるQuarit-Rerankerを紹介します。 我々のパイプラインはまず、大規模ランキング指向データから一般的な関連性モデリングを学び、次にターゲット分布に適応する。 Querit-Reranker-A0.4B 平均 nDCG@10 は BEIR では 54.11 から 59.28 に、MIRACL では 59.87 から 67.70 に改善されている。
• 参考スコア（独自算出の注目度）: 43.66118282567413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deployable multilingual rerankers must generalize across languages, domains, and target ranking tasks while remaining efficient enough for second-stage reranking. However, adapting them to new target distributions typically requires extensive task-specific relevance annotations, which are costly to obtain. We present Querit-Reranker, a family of multilingual cross-encoder rerankers trained with a data-centric pipeline for label-efficient adaptation. We instantiate it as Querit-Reranker-A0.4B, initialized from an in-house MoE backbone with 0.4B activated parameters, and Querit-Reranker-4B, initialized from Qwen3-Embedding-4B. Our pipeline first learns general relevance modeling from large-scale ranking-oriented data, then adapts to target distributions through synthetic-query mining with teacher scores as continuous soft labels. To consolidate complementary task-adapted strengths, we further merge checkpoints via spherical linear interpolation, obtaining a single deployable model without runtime ensembling overhead. Using Qwen3-Embedding-0.6B as the shared first-stage retriever, Querit-Reranker-A0.4B improves average nDCG@10 from 54.11 to 59.28 on BEIR and from 59.87 to 67.70 on MIRACL. On MTEB Multilingual v2 Reranking, it also substantially outperforms larger embedding-based baselines, while Querit-Reranker-4B further achieves state-of-the-art performance among publicly available models. We release both models on Hugging Face.
• Abstract（参考訳）: デプロイ可能な多言語リランカは、言語、ドメイン、ターゲットのランク付けタスクにまたがって一般化する必要がある。 しかし、これらを新しいターゲット分布に適用するには、通常、広範囲なタスク固有の関連アノテーションが必要である。 ラベル効率向上のためのデータ中心パイプラインを訓練した多言語クロスエンコーダのファミリーである Querit-Reranker を提案する。 Qwen3-Embedding-4B から初期化された Querit-Reranker-4B を、0.4B の活性化パラメータを持つ社内の MoE バックボーンから初期化した Querit-Reranker-A0.4B としてインスタンス化する。 我々のパイプラインはまず,大規模ランキング指向データから一般関連性モデリングを学習し,その後,教師のスコアを連続ソフトラベルとした合成クエリマイニングにより,ターゲット分布に適応する。 相補的なタスク適応強みを統合するため,球状線形補間によりチェックポイントをマージし,実行時のオーバーヘッドを伴わずに単一デプロイ可能なモデルを得る。 Qwen3-Embedding-0.6Bを1段レトリバーとして使用すると、平均的なnDCG@10をBEIRで54.11から59.28、MIRACLで59.87から67.70に改善する。 MTEB Multilingual v2 では、より大規模な埋め込みベースのベースラインよりも大幅に優れており、Querit-Reranker-4B では、一般に利用可能なモデル間で最先端のパフォーマンスが達成されている。 どちらのモデルもHugging Faceでリリースしています。

関連論文リスト

• RelPrism: A Multi-Faceted Pre-training Framework with Self-Generated Tasks for Relational Databases [49.47033473074821]
  RDBのための多面的自己教師型学習フレームワークであるRelPrismを提案する。 RDBタスクは、しばしば異なる視点と粒度の多面的な情報を必要とする。 以上の結果から,RelPrismはROC-AUCを4.15%改善し,MAEを10.75%削減した。
  論文  参考訳（メタデータ） (2026-05-22T05:19:58Z)
• EmbGen: Teaching with Reassembled Corpora [0.300988853836121]
  コーパスをエンティティ記述ペアに分解する合成データ生成パイプラインであるEmbGenを紹介する。 EmbGen を EntiGraph,InstructLab,Knowledge-Instruct に対して,多種多様な意味的不均一性のデータセット上で評価する。
  論文  参考訳（メタデータ） (2026-05-19T05:40:12Z)
• Bayesian Model Merging [17.887004278413915]
  モデルマージは、複数のタスク固有のエキスパートモデルを、共同トレーニングなしで単一のモデルに結合することを目的としている。 本稿では,プラグインとプレイの双方向最適化フレームワークであるBayesian Model Merging (BMM)を紹介する。 BMMは、すべてのプラグアンドプレイアンカーベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-13T00:36:47Z)
• Peer-Predictive Self-Training for Language Model Reasoning [15.499995918997756]
  本稿では,複数の言語モデルを協調的に改善するラベルフリーな微調整フレームワークを提案する。 素早い質問が与えられた場合、モデルが逐次応答を生成し、最終的な集約された回答が学習の内的ターゲットとして機能する。 数学的推論のベンチマークでは、PSTはGemma-2-2B、LLaMA-3.2-1B、Qwen-2.5-1.5Bの精度を2.2から4.3ポイント改善している。
  論文  参考訳（メタデータ） (2026-04-14T23:29:44Z)
• Bagging-Based Model Merging for Robust General Text Embeddings [73.51674133699196]
  汎用テキスト埋め込みモデルは、幅広いNLPおよび情報検索アプリケーションを支える。 本稿では,データスケジューリングとモデルマージという2つの観点から,テキスト埋め込みのためのマルチタスク学習の体系的研究を行う。 本稿では,Baging ベースの rObust mOdel Merging (BOOM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T15:45:08Z)
• Limited Reference, Reliable Generation: A Two-Component Framework for Tabular Data Generation in Low-Data Regimes [7.036974567001374]
  ReFineは、ドメイン固有の機能の配布に向けて生成をガイドするフレームワークである。 様々な回帰と分類のベンチマークの実験では、ReFineは最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-12T04:34:46Z)
• Finding Needles in Emb(a)dding Haystacks: Legal Document Retrieval via Bagging and SVR Ensembles [51.0691253204425]
  本稿では,サポートベクタ回帰アンサンブル,ブートストラップアグリゲーション(バッグ),およびドイツ法情報検索データベース(GerDaLIR)への埋め込み空間を利用した検索手法を提案する。 投票アンサンブルを用いてベースライン上のリコールの改善を示し、トレーニングやディープラーニングモデルを微調整することなく、有望な初期結果を提案する。
  論文  参考訳（メタデータ） (2025-01-09T07:21:44Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。