論文の概要: Scaling Laws for Embedding Dimension in Information Retrieval

• arxiv url: http://arxiv.org/abs/2602.05062v1
• Date: Wed, 04 Feb 2026 21:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.626725
• Title: Scaling Laws for Embedding Dimension in Information Retrieval
• Title（参考訳）: 情報検索における次元埋め込みのスケーリング法則
• Authors: Julian Killingback, Mahta Rafiee, Madine Manas, Hamed Zamani,
• Abstract要約: 埋め込み次元と検索性能の関係を包括的に分析する。 スケーリングの振る舞いは電力法則に適合しており、埋め込み次元のみを考慮して、パフォーマンスのスケーリング法則を導出することができる。 評価タスクがトレーニングタスクに沿っている場合, 埋め込みサイズが大きくなるにつれて, 性能が向上し続けていることを示す。
• 参考スコア（独自算出の注目度）: 26.21690287784803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense retrieval, which encodes queries and documents into a single dense vector, has become the dominant neural retrieval approach due to its simplicity and compatibility with fast approximate nearest neighbor algorithms. As the tasks dense retrieval performs grow in complexity, the fundamental limitations of the underlying data structure and similarity metric -- namely vectors and inner-products -- become more apparent. Prior recent work has shown theoretical limitations inherent to single vectors and inner-products that are generally tied to the embedding dimension. Given the importance of embedding dimension for retrieval capacity, understanding how dense retrieval performance changes as embedding dimension is scaled is fundamental to building next generation retrieval models that balance effectiveness and efficiency. In this work, we conduct a comprehensive analysis of the relationship between embedding dimension and retrieval performance. Our experiments include two model families and a range of model sizes from each to construct a detailed picture of embedding scaling behavior. We find that the scaling behavior fits a power law, allowing us to derive scaling laws for performance given only embedding dimension, as well as a joint law accounting for embedding dimension and model size. Our analysis shows that for evaluation tasks aligned with the training task, performance continues to improve as embedding size increases, though with diminishing returns. For evaluation data that is less aligned with the training task, we find that performance is less predictable, with performance degrading with larger embedding dimensions for certain tasks. We hope our work provides additional insight into the limitations of embeddings and their behavior as well as offers a practical guide for selecting model and embedding dimension to achieve optimal performance with reduced storage and compute costs.
• Abstract（参考訳）: クエリやドキュメントを1つの高密度ベクトルにエンコードするDense Searchは、その単純さと近接した近接アルゴリズムとの互換性から、ニューラルネットワークの主流となっている。 密集検索が複雑化するにつれて、基礎となるデータ構造と類似度(ベクトルと内積)の基本的な限界がより明確になる。 以前の研究は、単一のベクトルと一般に埋め込み次元に結びついている内積に固有の理論上の限界を示してきた。 検索能力に埋込次元が重要であることから, 埋込次元が拡大するにつれて, 密集検索性能がいかに変化するかを理解することは, 有効性と効率のバランスをとる次世代検索モデルの構築に不可欠である。 本研究では,埋め込み次元と検索性能の関係を包括的に分析する。 我々の実験には、2つのモデルファミリと、各モデルのモデルサイズが含まれており、埋め込みスケーリングの挙動の詳細な図を作成する。 スケーリングの挙動は電力法則に適合し,埋め込み次元のみを前提とした性能のスケーリング法則の導出と,埋め込み次元とモデルサイズを考慮した共同法則の導出が可能となる。 評価タスクをトレーニングタスクに合わせると,埋め込みサイズが大きくなるにつれて性能が向上するが,リターンは低下する。 トレーニングタスクとの整合性が低い評価データに対しては,特定のタスクに対する埋め込み次元を大きくすることで,パフォーマンスが予測可能でないことが分かる。 我々の研究は、埋め込みの限界とその動作に関するさらなる洞察を提供し、ストレージと計算コストを削減して最適なパフォーマンスを達成するためにモデルと埋め込み次元を選択するための実践的なガイドを提供することを期待しています。

関連論文リスト

• Complexity Scaling Laws for Neural Models using Combinatorial Optimization [5.291101237151254]
  問題複雑性に基づくスケーリング法則を策定する。 我々は、解空間サイズと表現空間サイズという2つの基本的な複雑さの尺度を解析する。 最適化はスムーズなコストトレンドを促進し,解釈可能な損失がなくても有意義なスケーリング法則を得ることができることを示す。
  論文  参考訳（メタデータ） (2025-06-15T18:20:35Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Scaling Laws For Dense Retrieval [22.76001461620846]
  本研究は,高密度検索モデルの性能が他のニューラルモデルと同様のスケーリング法則に従うかどうかを考察する。 その結果、我々の設定下では、高密度検索モデルの性能は、モデルサイズとアノテーション数に関連する正確なパワーロースケーリングに従っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-27T15:27:36Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。