論文の概要: Why Advanced Encoders Lag on Sparse Retrieval? The Answer and an Approach to Bridging Vocabulary Gaps

• arxiv url: http://arxiv.org/abs/2607.00004v1
• Date: Mon, 20 Apr 2026 05:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.962316
• Title: Why Advanced Encoders Lag on Sparse Retrieval? The Answer and an Approach to Bridging Vocabulary Gaps
• Title（参考訳）: なぜ高度なエンコーダがスパース検索を怠っているのか? : 回答と語彙ギャップのブリッジ化へのアプローチ
• Abstract要約: 現代のトークン化器は、単一の意味単位を冗長な表面形式にマッピングする、生のケースセンシティブな語彙を利用する。 モデルに依存しないフレームワークであるtextbfVocabulary Transfer (VT) を提案する。 VTは普遍的に有効であり、ModernBERTはBEIRベンチマークで最先端のパフォーマンスを達成することができる。
• 参考スコア（独自算出の注目度）: 5.182584489074576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While advanced foundation models like ModernBERT significantly outperform older architectures in dense retrieval, they surprisingly lag behind the aging BERT-base baseline in learned sparse retrieval (LSR). We identify the root cause as the \textit{Vocabulary Gap}: modern tokenizers utilize raw, case-sensitive vocabularies designed for lossless reconstruction, which map single semantic units to redundant surface forms, wasting model capacity on morphological noise and hindering lexical matching. We formalize this intuition through a theoretical framework, demonstrating that appropriate vocabulary coarse-graining can tighten the generalization bounds by reducing complexity of the hypothesis class, provided that semantic integrity is preserved. To resolve this, we propose \textbf{Vocabulary Transfer (VT)}, a model-agnostic framework that migrates advanced encoders to sparse-friendly, normalized vocabularies with minimal computational cost. VT utilizes a novel \textbf{Semantic Initialization} via spatial topology to preserve geometric structure and an \textbf{Activation Potential Calibration (APC)} mechanism to align pre-trained manifolds with sparsity constraints, preventing the dead neuron and dense collapse observed in standard fine-tuning. Empirically, VT is universally effective: it enables ModernBERT to achieve state-of-the-art performance on the BEIR benchmark (\textbf{52.4} nDCG, a \textbf{+4.7} improvement), resuscitates failing models like RoBERTa-large, and generalizes seamlessly to inference-free architectures and specialized domains. These results confirm that the performance lag is not an architectural deficiency but a solvable vocabulary mismatch. We've released our code and models.\footnote{https://anonymous.4open.science/r/vocab-transfer/. All details included.}
• Abstract（参考訳）: ModernBERTのような先進的な基盤モデルは、密集検索において古いアーキテクチャよりも大幅に優れているが、学習スパース検索(LSR)において、老朽化したBERTベースラインよりも驚くほど遅れている。 我々は根本原因を「textit{Vocabulary Gap}」と同定する: 現代のトークンライザは、損失のない再構成のために設計された生のケースセンシティブな語彙を使用し、単一の意味単位を冗長な表面形状にマッピングし、形態的ノイズのモデル容量を浪費し、語彙マッチングを妨げる。 この直観を理論的な枠組みで定式化し、意味的整合性が保たれれば、適切な語彙粗粒化が仮説クラスの複雑さを減らして一般化境界を締め付けることができることを示す。 そこで本研究では,高度なエンコーダをスパースフレンドリーな正規化語彙に最小限の計算コストで移行する,モデルに依存しないフレームワークである‘textbf{Vocabulary Transfer(VT)’を提案する。 VT は空間トポロジーを通した新しい \textbf{Semantic Initialization} を用いて幾何学的構造を保存し、そして \textbf{Activation Potential Calibration (APC) 機構を用いて、事前訓練された多様体を空間的制約で整列させ、標準微調整で観察される死ニューロンや密度の崩壊を防ぐ。 BEIRベンチマーク(\textbf{52.4} nDCG, a \textbf{+4.7} improvement)で最先端のパフォーマンスを実現し、RoBERTa-largeのようなフェールモデルを再活性化し、推論不要アーキテクチャや特殊ドメインにシームレスに一般化する。 これらの結果から, 性能ラグは建築上の欠陥ではなく, 解決可能な語彙ミスマッチであることが確認された。 コードとモデルをリリースしました。 科学/r/vocab-transfer/。 詳細は以下の通り。 ※

関連論文リスト

• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Surface-Form Neural Sparse Retrieval: Robust Fuzzy Matching for Industrial Music Search [6.820455959856271]
  クエリは、ミススペル、トランスポジション、音声のバリエーションによるインデックス付きメタデータから頻繁に逸脱する。 既存の学習・検索システムであるHigh Confidence Index (HCI)は、顧客の行動からクエリ・エンティティ・アソシエーションを学習する。 従来のn-gramマッチングは、この探索を可能にするが、セマンティックロバスト性や高雑音に悩まされる。 本稿では,探索効率を最大化するために,テキストフロバスト型ニューラルスパース検索システムを提案する。
  論文  参考訳（メタデータ） (2026-05-18T02:29:25Z)
• Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs [77.42033827176806]
  ワンショットフェデレートラーニング(One-Shot Federated Learning)は、単一のコミュニケーションラウンドでグローバルモデルを学ぶ中央サーバが、有望なパラダイムとして登場したものだ。 本稿では,合成画像の全パッチをフル活用してグローバルモデルをトレーニングする,新しいフェデレーションモデルインバージョンとトークンリラベルフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-11T15:49:08Z)
• How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
  我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。 我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
  論文  参考訳（メタデータ） (2026-04-26T14:34:49Z)
• Overcoming the Impedance Mismatch: A Theoretical Roadmap for Fusing Foundation Models and Knowledge Graphs [0.0]
  構造的および幾何学的摩擦をtextitImpedance Mismatch として定式化する。 本稿では,真の意味融合を実現するための厳密な理論的ロードマップを提案する。 このフレームワークは、シンボリック論理の精度をパラメトリックメモリの表現率とシームレスに融合するモデルを構築する。
  論文  参考訳（メタデータ） (2026-04-21T17:30:15Z)
• Rethinking Token Prediction: Tree-Structured Diffusion Language Model [17.568195527860155]
  トークンの祖先ノードに対応する潜在状態を持つ木構造拡散言語モデルを構築した。 本手法は,最先端の離散拡散言語モデルのパープレキシティ性能に適合しながら,ピークGPUメモリ使用量を半減する。
  論文  参考訳（メタデータ） (2026-04-04T01:19:12Z)
• ARGENT: Adaptive Hierarchical Image-Text Representations [12.724220731465392]
  本稿では,より強力な双曲型VLMベースラインARGENT,Adaptive hieRarchical imaGe-tExt rereseNTationを導入する。 本稿では,より強力な双曲型VLMベースラインARGENT,Adaptive hieRarchical imaGe-tExt rereseNTationを提案する。
  論文  参考訳（メタデータ） (2026-03-24T15:14:12Z)
• Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion [84.20493238687187]
  単純な模倣を超えて、より深い概念的理解を具現化する新しい枠組みを導入する。 underlinetextitFirst, to address pattern memorization, Explanatory Inversion (EI) generated target explanatory probes' underlinetextitSecondは、一般化を改善するために、Explainatory GRPO (texttEXGRPO) は、新しいダイアログ構造ユーティリティーボーナスを用いた強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2026-02-26T23:01:46Z)
• Generative Data Transformation: From Mixed to Unified Data [57.84692191369066]
  textscTaesarはtextbftarget-textbfal textbfregenerationのためのEmphdata中心のフレームワークである。 ドメイン間のコンテキストを対象のシーケンスにエンコードすることで、複雑な融合アーキテクチャを使わずに、標準的なモデルで複雑な依存関係を学習することができる。
  論文  参考訳（メタデータ） (2026-02-26T08:30:09Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• Compression is Routing: Reconstruction Error as an Intrinsic Signal for Modular Language Models [0.0]
  「この論文は、圧縮は知性である」という前提に基づいている。」 それは新しいアーキテクチャ哲学を提唱している: 圧縮はルーティングである。 超長期のコンテキストを扱うために、VRAM圧縮の新たな視点を提供する。
  論文  参考訳（メタデータ） (2025-12-18T09:02:03Z)
• Unleashing Degradation-Carrying Features in Symmetric U-Net: Simpler and Stronger Baselines for All-in-One Image Restoration [52.82397287366076]
  オールインワン画像復元は、統合された枠組み内で様々な劣化(ノイズ、ぼかし、悪天候など)を扱うことを目的としている。 本研究では, 優れた特徴抽出法により, 劣化伝達情報を本質的にエンコードする, 重要な知見を明らかにする。 我々の対称設計は固有の劣化信号を頑健に保存し、スキップ接続に単純な加法融合を施す。
  論文  参考訳（メタデータ） (2025-12-11T12:20:31Z)
• From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
  時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。 既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。 ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-30T10:33:08Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。