論文の概要: Score-Only Distillation for Compact Dense Retrieval

• arxiv url: http://arxiv.org/abs/2607.11465v1
• Date: Mon, 13 Jul 2026 12:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.46085
• Title: Score-Only Distillation for Compact Dense Retrieval
• Title（参考訳）: 小型高密度検索のためのスコアオンリー蒸留法
• Abstract要約: 本研究では,教師が隠れた状態にアクセスすることなく,スコアベクトルから教師のランク付け行動を学習できるかどうかを検討する。 PairMSE損失のメモリ効率向上を目的とした,行中心のスコアベクター目標を用いた。 蒸留した0.6Bの学生はクエリエンコーディングが4.7$times$、ドキュメントエンコーディングが9.7$times$である。
• 参考スコア（独自算出の注目度）: 3.340699005490366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large embedding models improve retrieval quality, but serving large encoders online is expensive. We study whether a compact retriever can learn teacher ranking behavior from score vectors without access to teacher hidden states. The student trains on rows built from ground-truth positives and negative candidates produced by our data generation pipeline; we evaluate student-teacher hard-negative mining separately as an extension. We use a row-centered score-vector objective, a memory-efficient implementation of uniform all-pairs PairMSE loss. On a fixed eight-task evaluation panel, our distillation protocol recovers up to 50\% of the base-to-teacher gap. The distilled 0.6B student is 4.7$\times$ faster for query encoding and 9.7$\times$ faster for document encoding than sequential online teacher fusion. External-transfer performance after distillation remains mixed, so our evidence supports compression of teacher rankings under matched retrieval protocols.
• Abstract（参考訳）: 大規模な埋め込みモデルは検索品質を改善するが、大規模なエンコーダをオンラインで提供するのは高価である。 本研究では,教師が隠れた状態にアクセスすることなく,スコアベクトルから教師のランク付け行動を学習できるかどうかを検討する。 学生は,データ生成パイプラインが生み出す正の正と負の候補から構築した行を訓練し,その拡張として生徒-教師の強陰性マイニングを別々に評価した。 PairMSE損失のメモリ効率向上を目的とした,行中心のスコアベクター目標を用いた。 固定8タスク評価パネルでは, 基本教師間ギャップの最大50%を蒸留プロトコルが回復する。 蒸留した0.6Bの学生はクエリエンコーディングが4.7$\times$、ドキュメントエンコーディングが9.7$\times$である。 蒸留後の外部転送性能は相変わらず混在しているため,本研究の証拠は一致した検索プロトコルの下での教師のランキングの圧縮を支援する。

関連論文リスト

• GOD: Enhancing Generalization via Deep Grafting for Sequential Recommendation [12.722528861651059]
  逐次推薦者はスパースでノイズの多い歴史に苦しむことが多く、一般化は目に見えない相互作用に制限される。 そこで我々は, グラフト指向蒸留(GOD)を提案する。 GODは3つの実世界のデータセットで、最先端のベースラインを最大13.92%上回っている。
  論文  参考訳（メタデータ） (2026-08-17T04:11:49Z)
• Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
  我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。 本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-30T07:05:37Z)
• Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation [0.0]
  我々は,4人のフロンティアAI教師が,実行ベースの審査員によって真っ向からランク付けされる,コンペティションThen-Collaborateフレームワークを紹介した。 検証可能な報酬(RLVR)環境を備えた強化学習として、同じ共同カリキュラムを使用することで、学生は改善される。
  論文  参考訳（メタデータ） (2026-07-09T09:00:52Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• Efficient Rationale-based Retrieval: On-policy Distillation from Generative Rerankers based on JEPA [8.95939511590498]
  論理に基づく検索は通常、クエリとドキュメントのペアのクロスエンコーディングを必要とする。 Rabtrieverはクエリとドキュメントをエンコードし、リランカに同等のクロスクエリドキュメント理解機能を提供する。 Rabtriever は MS MARCO や BEIR といった従来のベンチマークでよく一般化されている。
  論文  参考訳（メタデータ） (2026-04-25T14:45:33Z)
• Harnessing Pairwise Ranking Prompting Through Sample-Efficient Ranking Distillation [37.687348363173214]
  Pairwise Ranking Prompting (PRP) with Large Language Models (LLMs) は、最も効果的なゼロショット文書ランキング手法の一つである。 本稿では,PRPの対蒸留による有効性を活用することを提案する。
  論文  参考訳（メタデータ） (2025-07-07T09:38:43Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Exploring Content Relationships for Distilling Efficient GANs [69.86835014810714]
  本稿では,過剰パラメータ生成逆数ネットワーク(GAN)に対処するコンテンツ関係蒸留(CRD)を提案する。 従来のインスタンスレベルの蒸留とは対照的に,教師出力の内容を細粒度にスライスすることで,新しいGAN圧縮指向の知識を設計する。 提案した内容レベルの蒸留をベースとして,オンライン教師識別器を配置し,教師生成器と共同訓練した場合の更新を継続し,生徒生成器と共同訓練した場合の凍結を継続し,より良い対人訓練を行う。
  論文  参考訳（メタデータ） (2022-12-21T15:38:12Z)
• PROD: Progressive Distillation for Dense Retrieval [65.83300173604384]
  良質な教師モデルでは,教師と生徒の間には不可解なギャップがあるため,蒸留によって悪い生徒が生まれることが一般的である。 本稿では,高密度検索のためのプログレッシブ蒸留法であるPRDを提案する。
  論文  参考訳（メタデータ） (2022-09-27T12:40:29Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)
• Teacher's pet: understanding and mitigating biases in distillation [61.44867470297283]
  いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。 しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか? 蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。 信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
  論文  参考訳（メタデータ） (2021-06-19T13:06:25Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)
• PairRank: Online Pairwise Learning to Rank by Divide-and-Conquer [35.199462901346706]
  オンラインモデルランキングのペアワイズ学習を推定することを提案する。 各ラウンドにおいて、候補文書を分割して、推定された対位順に対するモデルの信頼度に応じてランク付けする。 オンラインソリューションの理論的収束と期待されたランキングパフォーマンスを結びつける、誤った順序付けされたペアの数で直接定義された後悔が証明される。
  論文  参考訳（メタデータ） (2021-02-28T01:16:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。