論文の概要: Web Scale on a Budget: Tail-Aware Retrieval Evaluation

• arxiv url: http://arxiv.org/abs/2610.17986v1
• Date: Tue, 13 Oct 2026 08:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:55:41.323694
• Title: Web Scale on a Budget: Tail-Aware Retrieval Evaluation
• Title（参考訳）: Web Scale on a Budget: Tail-Aware Retrieval Evaluation
• Abstract要約: インスタンス検索における一般的なプラクティスは、ベンチマークの識別能力を改善するためにギャラリーのサイズを拡大することである。 評価自体がスケーリング法則に従っているので、Webスケールインデックスの価格がほとんど避けられることを示す。
• 参考スコア（独自算出の注目度）: 16.43629306994231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common practice in instance retrieval is to grow the gallery size to improve a benchmark's discrimination capability. One prominent example is ILIAS, which adds up to 100 million distractor images. The prevailing assumption is that faithful evaluation demands web scale, and that indexing all 100M images through the backbone is the unavoidable price of a comparable number. That price is steep: hundreds of GPU-hours and ~200 GB of descriptors per model, paid again for every method or ablation. We show the web-scale indexing price is largely avoidable: evaluation itself obeys a scaling law. The number of distractors that outrank a positive is Binomial in the gallery size. We define the per-query retrieval hardness, a gallery-scale agnostic quantity that yields a retrieval metric at any scale, and demonstrate it can be derived from a small random sample. The underlying sampled-rank machinery is long established in recommender-system and biometric evaluation, but to our knowledge has never been adapted to visual retrieval. We make the law per-query and estimable, and validate it at true 100M scale on ILIAS and INSTRE, and on the full 759k-distractor Google Landmarks v2 pool. Concretely, within a 5% sample (a flat 20x less indexing), every backbone's tail-aware (EVT) estimate has converged onto the large-scale mAP, to within ~0.01 (mean absolute error 0.005), across five backbones, three benchmarks, and two distractor pools (mAP@1000 at 100M on ILIAS/INSTRE; the official mAP@100 at the full 759k pool on GLDv2); the recommender-systems count baseline over-predicts everywhere (+0.037 to +0.068). This is an order of magnitude better than naively reporting the metric on the same subset (+0.08 to +0.13). We release code and the per-query hardness to facilitate faster, cheaper, and greener retrieval evaluation.
• Abstract（参考訳）: インスタンス検索における一般的なプラクティスは、ベンチマークの識別能力を改善するためにギャラリーのサイズを拡大することである。 1つの顕著な例はILIASで、最大1億枚の散逸した画像を付加する。 一般的な前提は、忠実な評価はWebスケールを必要とし、バックボーンを通じて1億イメージをインデックス化することは、同じ数の避けられない価格である。 数百のGPU時間と約200GBのディスクリプタが、すべてのメソッドやアブレーションに対して再び支払われます。 評価自体がスケーリングの法則に従うので、Webスケールの索引付け価格はほとんど避けられません。 ギャラリーサイズでは、ポジティヴを上回ったイントラクタの数は、Binomialである。 クエリごとの検索難度は,任意のスケールで検索基準を出力するギャラリースケールの非依存量と定義し,小さなランダムサンプルから導出できることを実証する。 サンプルランクの機械は、長い間、推奨システムと生体計測評価において確立されてきたが、我々の知識は、視覚的検索に適合していない。 ILIAS と INSTRE と 759k ディストリクタ Google Landmarks v2 の完全なプール上で,この法則を真に100M スケールで検証する。 具体的には、5つのバックボーン、3つのベンチマーク、2つのイントラクタプール(LIAS/INSTREの100MでのmAP@1000、GLDv2の759kプールにおける公式mAP@100)にまたがって、すべてのバックボーンのテールアウェア(EVT)の推定値は、大規模なmAPに収束した。 これは、同じ部分集合 (+0.08 から +0.13) 上の計量を内在的に報告するよりも、桁違いに優れている。 より高速で安価で、よりグリーンな検索評価を容易にするために、コードとクエリごとのハードネスをリリースする。

関連論文リスト

• SOLO: Certified-Recall Metric Similarity Search with Scan-Only Sampled Inverted Lists [0.0]
  SOLOは逆ファイルであり、語彙はデータベースのランダムなサンプルである。 各オブジェクトの$k_b$近くのサンプルポイントは一度格納され、ランク付けされる。 演算子のクエリのサンプルを渡すと、一度に$(b, k_s) のすべての値が証明され、何も提供されない。
  論文  参考訳（メタデータ） (2026-10-01T19:09:03Z)
• ECDSA.Fail: Open Autoresearch for Optimizing Elliptic-Curve Point Addition in Shor's Algorithm [26.031771597083708]
  我々は、人間とAIエージェントが公衆のリーダーボードに評価器を検証した改善をパブリッシュするOpen Autoresearchを提案する。 我々は、楕円曲線暗号におけるショアのアルゴリズムのボトルネックである、可逆secp256k1点加算回路を最適化する。 ベンチマークは、時空にインスパイアされたスコア$S=Qtimes T$を最小にし、$Q$はピーク論理量子ビット幅、$T$は平均実行されたToffoli数である。
  論文  参考訳（メタデータ） (2026-09-09T01:05:06Z)
• Confidence Scores in Open-Vocabulary Detection Are a Biased Mixture of Scale and Semantics [8.465978346858842]
  CLIPのような基盤モデルは、視覚言語的類似性を通じて新しいカテゴリに一般化するオープン語彙オブジェクト検出器を可能にした。 スケールバイアスの発見は2つの効果の偏りのある混合であることを示す。 これらの結果から,画像レベルの基礎モデルを領域レベルの検出タスクに適用する上での基本的限界が明らかとなった。
  論文  参考訳（メタデータ） (2026-07-13T01:33:18Z)
• When Does Sparse MoE Help in Vision? The Role of Backbone Compute Leverage in Sparse Routing [7.208745673318648]
  Mixture-of-Experts (MoE)ネットワークは精度の高いトレードオフを約束するが、現実的なビジョン展開は専門家の崩壊によって妨げられる。 ハードキャパシティ制約付き上位k$ルーティングが視覚分類に有効である場合について検討する。
  論文  参考訳（メタデータ） (2026-05-15T00:01:11Z)
• How2Everything: Mining the Web for How-To Procedures to Evaluate and Improve LLMs [49.61011897610774]
  How2Everythingは、ゴール条件ドプロシージャの生成を評価し改善するフレームワークである。 私たちのフレームワークには、14トピックにわたる980KのWebページから351KのプロシージャをマイニングするHow2Mineが含まれています。 How2Score(ハウ2スコア)は、LLMジャッジを使用して、世代が目標達成を阻止する重要な障害を含むかどうかを検出する評価プロトコルである。
  論文  参考訳（メタデータ） (2026-02-09T15:47:14Z)
• Relative Scaling Laws for LLMs [91.73497548097775]
  スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。 相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。 これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
  論文  参考訳（メタデータ） (2025-10-28T16:55:22Z)
• ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models [79.90955995669158]
  大型マルチモーダルモデル(LMM)は、画像の解釈において大きな欠点を示し、いくつかの手段によっては、小さな子供や動物よりも空間認知が劣っている。 我々は,現代フロンティアLMMでは不可能な,軽量な視覚推論ベンチマークであるZeroBenchを紹介する。 ZeroBench 上で 20 LMM の評価を行い,そのスコアは 0.0% であり,誤差を厳密に分析した。
  論文  参考訳（メタデータ） (2025-02-13T18:59:11Z)
• Efficient Lifelong Model Evaluation in an Era of Rapid Progress [40.57576540258748]
  S&S(Sort & Search, S&S)は, 動的プログラミングアルゴリズムを利用して, テストサンプルのランク付けとサブセレクションを行う。 S&Sは高い効率の近似精度測定を実現し、計算コストを1つのA100 GPU上で180GPU日から5GPU時間に削減し、近似誤差が低く、メモリコストは100MBである。 我々の研究は、現在の精度予測指標の問題を強調し、サンプルレベルの評価指標に移行する必要性を示唆している。
  論文  参考訳（メタデータ） (2024-02-29T18:58:26Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Evaluating Large-Vocabulary Object Detectors: The Devil is in the Details [107.2722027807328]
  我々は、APのデフォルト実装はカテゴリー独立ではなく、適切に校正された検出器を直接報酬するものではないことを発見した。 既定の実装ではゲーム可能なメトリックが生成され、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できることが示される。 我々は,近年の大規模語彙検出の進歩をベンチマークし,新たなクラスごとの独立性評価において,多くの報告された利益が改善に結びついていないことを発見した。
  論文  参考訳（メタデータ） (2021-02-01T18:56:02Z)
• Enhancing Geometric Factors in Model Learning and Inference for Object Detection and Instance Segmentation [91.12575065731883]
  境界ボックス回帰および非最大抑圧(NMS)における幾何学的要素の強化を目的とした完全IoU損失とクラスタNMSを提案する。 CIoU損失を用いたディープラーニングモデルのトレーニングは、広く採用されている$ell_n$-norm損失とIoUベースの損失と比較して、一貫性のあるAPとARの改善をもたらす。 クラスタ-NMSは、純粋なGPU実装のため非常に効率的であり、APとARの両方を改善するために幾何学的要素を組み込むことができる。
  論文  参考訳（メタデータ） (2020-05-07T16:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。