論文の概要: Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy

• arxiv url: http://arxiv.org/abs/2610.02749v1
• Date: Fri, 02 Oct 2026 03:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.194742
• Title: Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy
• Title（参考訳）: ベクトル検索が幾何学的に簡単である場合でも、クエリエンコーダの学習は難しくなる
• Abstract要約: 効率的なベクトル検索には、ベクトル類似性による正しいドキュメントの検索をサポートするコーパス幾何学と、所望のドキュメントの近くにクエリを埋め込むクエリエンコーダの両方が必要である。 最近の研究は、$n$文書の上位k$の解集合を全て実現するために必要となる最小埋め込み次元のレンズを通して幾何学的容量を研究している。 凍結した文書インデックスに対して最大リコールが可能な幾何学的キャパシティの異なる概念について検討し、学習したクエリエンコーダがこの天井に到達できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 13.249307333885538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient vector retrieval requires both a corpus geometry that supports retrieving the right documents through vector similarity, and a query encoder that can embed queries near their desired documents in the embedding space. Recent work has studied geometric capacity through the lens of the minimum embedding dimension needed to realize all top-$k$ answer sets of $n$ documents. We study a different notion of geometric capacity--the maximum recall achievable for a frozen document index--and explore whether learned query encoders can reach this ceiling. On several real-world retrieval benchmarks, we show that retrieval quality of single-vector query encoders often lies far below what the document indices can support. Motivated by this observation, we give theoretical evidence that learning query encoders can be computationally hard. In particular, we construct a retrieval task that (1) admits a query encoder with perfect recall which is representable by a small one-hidden-layer ReLU network, but (2) any statistical-query learner (a class capturing learners that access training data through aggregate statistics) provably requires exponentially many statistical queries to achieve non-trivial recall advantage over the random baseline $k/n$. Taken together, our results suggest substantial unrealized geometric capacity in retrieval benchmarks and establish query encoder learnability as a possible barrier in embedding-based retrieval.
• Abstract（参考訳）: 効率的なベクトル検索には、ベクトル類似性による正しいドキュメントの検索をサポートするコーパス幾何学と、所望のドキュメントの近くにクエリを埋め込むクエリエンコーダの両方が必要である。 最近の研究は、$n$文書の上位k$の解集合を全て実現するために必要となる最小埋め込み次元のレンズを通して幾何学的容量を研究している。 凍結した文書インデックスに対して最大リコールが可能な幾何学的キャパシティの異なる概念について検討し、学習したクエリエンコーダがこの天井に到達できるかどうかを検討する。 いくつかの実世界の検索ベンチマークでは、単一ベクトルクエリエンコーダの検索品質が文書インデックスがサポートするものよりもはるかに低いことが示されている。 この観測により,クエリエンコーダの学習が困難であるという理論的証拠が得られた。 特に,(1)1階層のReLUネットワークで表現可能な完全リコールを持つクエリエンコーダを許容する検索タスクを構築するが,(2)統計クエリの学習者(集約統計を通じてデータにアクセスした学習者をキャプチャするクラス)は,ランダムなベースライン$k/n$に対して非自明なリコール優位性を達成するために,指数的に多くの統計クエリを必要とする。 この結果から,検索ベンチマークにおける未実現の幾何能力が示唆され,組込み型検索の障壁としてクエリエンコーダの学習性を確立した。

関連論文リスト

• CodeHID: Learning an Addressable Hierarchical Code Index for Generative Code Retrieval [16.418964135916433]
  本稿では,コード検索タスクをフラットな候補マッチングから粗いセマンティックアドレス生成へと再構成する生成コード検索フレームワークであるCodeHIDを提案する。 CodeHIDは2つのコアコンポーネントに依存している。まず、Pseudo-Neighbor Guided DocID Learningは、多レベル残留量子化と$k$-nearest-neighbor pseudo-supervisionを適用することで、グローバルな静的階層インデックスを構築する。 第2に、Dual-Phase DocID Generation Guidanceは、トレーニング側ランキングの強化、ハードネガティブとランク蒸留、推論側候補制約、プレフィックス対応デコードを組み合わせて、この固定インデックスを確実にナビゲートする。
  論文  参考訳（メタデータ） (2026-08-25T05:35:17Z)
• Hierarchical Retrieval: The Geometry and a Pretrain-Finetune Recipe [42.35197658021889]
  一致するクエリとドキュメントのペアを類似したベクトル表現に埋め込んだデュアルエンコーダ(DE)モデルは、情報検索に広く利用されている。 本稿では,階層的検索(HR)の文脈において,文書集合が階層構造を持ち,クエリに適合する文書がすべてその祖先であるような制約について検討する。 近い文書の性能を犠牲にすることなく、長距離検索を大幅に改善するプレトレインファインチューンレシピを提案する。
  論文  参考訳（メタデータ） (2025-09-19T20:35:58Z)
• Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
  ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。 我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。 BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
  論文  参考訳（メタデータ） (2025-09-08T10:58:42Z)
• Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
  The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。 SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
  論文  参考訳（メタデータ） (2025-07-14T08:41:53Z)
• ReTreever: Tree-based Coarse-to-Fine Representations for Retrieval [64.44265315244579]
  そこで本研究では,様々なレベルで参照文書を整理し,表現するためのツリーベース手法を提案する。 我々の手法はReTreeverと呼ばれ、クエリと参照ドキュメントが同様のツリーブランチに割り当てられるように、バイナリツリーの内部ノード毎のルーティング関数を共同で学習する。 我々の評価では、ReTreeverは一般的に完全な表現精度を保っている。
  論文  参考訳（メタデータ） (2025-02-11T21:35:13Z)
• Hypencoder: Hypernetworks for Information Retrieval [20.173669986209024]
  私たちは、学習されたクエリ固有の関連関数として機能する小さなニューラルネットワークを使用します。 我々は,60ミリ秒未満で8.8M文書のコーパスからモデルを検索可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-07T22:31:38Z)
• Generative Retrieval as Multi-Vector Dense Retrieval [71.75503049199897]
  生成検索は、文書の識別子をエンドツーエンドで生成する。 それまでの研究は、原子識別子による生成的検索が単一ベクトル密度検索と等価であることを示した。 生成的検索と多ベクトル高密度検索は,文書の問合せに対する関連性を測定するのと同じ枠組みを共有していることを示す。
  論文  参考訳（メタデータ） (2024-03-31T13:29:43Z)
• Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
  ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。 そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
  論文  参考訳（メタデータ） (2022-06-21T18:16:31Z)
• Sparse, Dense, and Attentional Representations for Text Retrieval [25.670835450331943]
  デュアルエンコーダは、文書やクエリを高密度な低次元ベクトルに符号化することで検索を行う。 単語の疎結合モデルや注目ニューラルネットワークと比較して,このアーキテクチャのキャパシティについて検討する。 本稿では,2重エンコーダの効率性と,よりコストのかかる注目アーキテクチャの表現性を結合した単純なニューラルモデルを提案する。
  論文  参考訳（メタデータ） (2020-05-01T02:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。