論文の概要: Scaling Laws for Embedding Dimension in Information Retrieval

• arxiv url: http://arxiv.org/abs/2602.05062v1
• Date: Wed, 04 Feb 2026 21:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.626725
• Title: Scaling Laws for Embedding Dimension in Information Retrieval
• Title（参考訳）: 情報検索における次元埋め込みのスケーリング法則
• Authors: Julian Killingback, Mahta Rafiee, Madine Manas, Hamed Zamani,
• Abstract要約: 埋め込み次元と検索性能の関係を包括的に分析する。 スケーリングの振る舞いは電力法則に適合しており、埋め込み次元のみを考慮して、パフォーマンスのスケーリング法則を導出することができる。 評価タスクがトレーニングタスクに沿っている場合, 埋め込みサイズが大きくなるにつれて, 性能が向上し続けていることを示す。
• 参考スコア（独自算出の注目度）: 26.21690287784803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense retrieval, which encodes queries and documents into a single dense vector, has become the dominant neural retrieval approach due to its simplicity and compatibility with fast approximate nearest neighbor algorithms. As the tasks dense retrieval performs grow in complexity, the fundamental limitations of the underlying data structure and similarity metric -- namely vectors and inner-products -- become more apparent. Prior recent work has shown theoretical limitations inherent to single vectors and inner-products that are generally tied to the embedding dimension. Given the importance of embedding dimension for retrieval capacity, understanding how dense retrieval performance changes as embedding dimension is scaled is fundamental to building next generation retrieval models that balance effectiveness and efficiency. In this work, we conduct a comprehensive analysis of the relationship between embedding dimension and retrieval performance. Our experiments include two model families and a range of model sizes from each to construct a detailed picture of embedding scaling behavior. We find that the scaling behavior fits a power law, allowing us to derive scaling laws for performance given only embedding dimension, as well as a joint law accounting for embedding dimension and model size. Our analysis shows that for evaluation tasks aligned with the training task, performance continues to improve as embedding size increases, though with diminishing returns. For evaluation data that is less aligned with the training task, we find that performance is less predictable, with performance degrading with larger embedding dimensions for certain tasks. We hope our work provides additional insight into the limitations of embeddings and their behavior as well as offers a practical guide for selecting model and embedding dimension to achieve optimal performance with reduced storage and compute costs.
• Abstract（参考訳）: クエリやドキュメントを1つの高密度ベクトルにエンコードするDense Searchは、その単純さと近接した近接アルゴリズムとの互換性から、ニューラルネットワークの主流となっている。 密集検索が複雑化するにつれて、基礎となるデータ構造と類似度(ベクトルと内積)の基本的な限界がより明確になる。 以前の研究は、単一のベクトルと一般に埋め込み次元に結びついている内積に固有の理論上の限界を示してきた。 検索能力に埋込次元が重要であることから, 埋込次元が拡大するにつれて, 密集検索性能がいかに変化するかを理解することは, 有効性と効率のバランスをとる次世代検索モデルの構築に不可欠である。 本研究では,埋め込み次元と検索性能の関係を包括的に分析する。 我々の実験には、2つのモデルファミリと、各モデルのモデルサイズが含まれており、埋め込みスケーリングの挙動の詳細な図を作成する。 スケーリングの挙動は電力法則に適合し,埋め込み次元のみを前提とした性能のスケーリング法則の導出と,埋め込み次元とモデルサイズを考慮した共同法則の導出が可能となる。 評価タスクをトレーニングタスクに合わせると,埋め込みサイズが大きくなるにつれて性能が向上するが,リターンは低下する。 トレーニングタスクとの整合性が低い評価データに対しては,特定のタスクに対する埋め込み次元を大きくすることで,パフォーマンスが予測可能でないことが分かる。 我々の研究は、埋め込みの限界とその動作に関するさらなる洞察を提供し、ストレージと計算コストを削減して最適なパフォーマンスを達成するためにモデルと埋め込み次元を選択するための実践的なガイドを提供することを期待しています。

関連論文リスト

• Scaling Laws for Reranking in Information Retrieval [24.00475965133032]
  本稿では,リランカーのスケーリング法則に関する最初の体系的研究について述べる。 クロスエンコーダリランカーを用いた詳細なケーススタディを用いて、性能が予測可能なパワー則に従うことを示した。 本研究は,産業グレード検索システム構築のためのスケーリングの原則を確立し,実用的な洞察を提供するものである。
  論文  参考訳（メタデータ） (2026-03-05T05:03:07Z)
• Neural Scaling Laws for Boosted Jet Tagging [0.22399170518036912]
  計算のスケーリングは、モデルキャパシティとデータセットサイズを共同で増加させることで、現代の機械学習におけるパフォーマンスの主要な要因となります。 計算の最適スケーリング法則を導出し,計算量の増加によって一貫したアプローチが可能な有効な性能限界を同定する。 次に、入力特徴と粒子乗法の選択により、スケーリング係数と性能限界がどう変化するかを検討する。
  論文  参考訳（メタデータ） (2026-02-17T18:13:01Z)
• Complexity Scaling Laws for Neural Models using Combinatorial Optimization [5.291101237151254]
  問題複雑性に基づくスケーリング法則を策定する。 我々は、解空間サイズと表現空間サイズという2つの基本的な複雑さの尺度を解析する。 最適化はスムーズなコストトレンドを促進し,解釈可能な損失がなくても有意義なスケーリング法則を得ることができることを示す。
  論文  参考訳（メタデータ） (2025-06-15T18:20:35Z)
• Unified Scaling Laws for Compressed Representations [69.72517034565467]
  各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。 我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。 我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
  論文  参考訳（メタデータ） (2025-06-02T16:52:51Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• A Closer Look at Deep Learning Methods on Tabular Datasets [78.61845513154502]
  広い範囲にまたがる300以上のデータセットの集合であるTALENTについて広範な研究を行った。 我々の評価では、アンサンブルは木に基づくアプローチとニューラルアプローチの両方に効果があることが示されている。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• Scaling Laws For Dense Retrieval [22.76001461620846]
  本研究は,高密度検索モデルの性能が他のニューラルモデルと同様のスケーリング法則に従うかどうかを考察する。 その結果、我々の設定下では、高密度検索モデルの性能は、モデルサイズとアノテーション数に関連する正確なパワーロースケーリングに従っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-27T15:27:36Z)
• Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints [69.27190330994635]
  コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。 本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。 実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T03:43:04Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。