論文の概要: LACONIC: Dense-Level Effectiveness for Scalable Sparse Retrieval via a Two-Phase Training Curriculum

• arxiv url: http://arxiv.org/abs/2601.01684v1
• Date: Sun, 04 Jan 2026 22:42:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.642344
• Title: LACONIC: Dense-Level Effectiveness for Scalable Sparse Retrieval via a Two-Phase Training Curriculum
• Title（参考訳）: LACONIC:2相学習カリキュラムによるスケーラブルスパース検索におけるDense-Level効果
• Authors: Zhichao Xu, Shengyao Zhuang, Crystina Zhang, Xueguang Ma, Yijun Tian, Maitrey Mehta, Jimmy Lin, Vivek Srikumar,
• Abstract要約: LACONICは、Llama-3アーキテクチャに基づく学習されたスパースレトリバーのファミリーである。 8Bの派生型はMTEB Retrievalベンチマークで最先端の60.2 nDCGを達成し、リーダーボードで15位となった。
• 参考スコア（独自算出の注目度）: 73.82125917416067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While dense retrieval models have become the standard for state-of-the-art information retrieval, their deployment is often constrained by high memory requirements and reliance on GPU accelerators for vector similarity search. Learned sparse retrieval offers a compelling alternative by enabling efficient search via inverted indices, yet it has historically received less attention than dense approaches. In this report, we introduce LACONIC, a family of learned sparse retrievers based on the Llama-3 architecture (1B, 3B, and 8B). We propose a streamlined two-phase training curriculum consisting of (1) weakly supervised pre-finetuning to adapt causal LLMs for bidirectional contextualization and (2) high-signal finetuning using curated hard negatives. Our results demonstrate that LACONIC effectively bridges the performance gap with dense models: the 8B variant achieves a state-of-the-art 60.2 nDCG on the MTEB Retrieval benchmark, ranking 15th on the leaderboard as of January 1, 2026, while utilizing 71\% less index memory than an equivalent dense model. By delivering high retrieval effectiveness on commodity CPU hardware with a fraction of the compute budget required by competing models, LACONIC provides a scalable and efficient solution for real-world search applications.
• Abstract（参考訳）: 密度の高い検索モデルは最先端の情報検索の標準となっているが、その展開は高いメモリ要求とベクトル類似性探索のためのGPUアクセラレータへの依存によって制約されることが多い。 学習されたスパース検索は、逆インデックスによる効率的な検索を可能にすることで、魅力的な代替手段を提供する。 本稿では,Llama-3アーキテクチャ (1B, 3B, 8B) に基づく学習用スパースレトリバーのファミリーであるLACONICを紹介する。 本研究では,(1)2方向の文脈化のための因果LLMを適応するための弱教師付きプレファインタニングと,(2)硬化した硬質負を用いた高信号微調整からなる2段階の合理化教育カリキュラムを提案する。 2026年1月1日時点で、LACONIC は高密度モデルよりも71 %少ないインデックスメモリを生かしながら、MTEB Retrieval ベンチマークで最先端の 60.2 nDCG を達成する。 競合するモデルに必要な計算予算のごく一部でコモディティCPUハードウェア上で高い検索効率を実現することで、LACONICは現実世界の検索アプリケーションに対してスケーラブルで効率的なソリューションを提供する。

関連論文リスト

• Blending Learning to Rank and Dense Representations for Efficient and Effective Cascades [18.081997057477178]
  アドホック経路検索における語彙信号と神経関連信号の併用について検討した。 我々は,ニューラルネットワークが第1段階として機能し,最寄りの探索を行うパイプラインアーキテクチャを採用している。 nDCG@10が11%向上し、平均クエリレイテンシが4.3%向上しました。
  論文  参考訳（メタデータ） (2025-10-18T08:16:48Z)
• AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
  AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。 2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。 分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-07T07:47:16Z)
• CSPLADE: Learned Sparse Retrieval with Causal Language Models [13.999080540889494]
  学習スパース検索(LSR)のための大規模言語モデル(LLM)の訓練における2つの課題を特定する。 本研究では,(1)トレーニング不安定を解消するための軽量適応訓練フェーズ,(2)双方向情報を実現するための2つのモデル変種を提案する。 これらの手法により,LSRモデルを8BスケールのLLMで学習し,インデックスサイズを縮小した競合検索性能を実現することができる。
  論文  参考訳（メタデータ） (2025-04-15T02:31:34Z)
• DiffNAS: Bootstrapping Diffusion Models by Prompting for Better Architectures [63.12993314908957]
  そこで我々は,DiffNASと呼ばれるベースモデル探索手法を提案する。 GPT-4をスーパーネットとして利用して検索を高速化し,検索メモリを補足して結果を向上する。 厳密な実験により,GPTに基づくシナリオでは,探索効率を2倍に向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-07T09:10:28Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
  SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。 我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。 全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-09-21T10:43:42Z)
• MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation [153.56211546576978]
  本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。 このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。 実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
  論文  参考訳（メタデータ） (2020-08-27T13:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。