論文の概要: Reveal Hidden Pitfalls and Navigate Next Generation of Vector Similarity Search from Task-Centric Views

• arxiv url: http://arxiv.org/abs/2512.12980v1
• Date: Mon, 15 Dec 2025 04:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.536757
• Title: Reveal Hidden Pitfalls and Navigate Next Generation of Vector Similarity Search from Task-Centric Views
• Title（参考訳）: タスク中心から見た隠れた落とし穴と次世代ベクトル類似性探索
• Authors: Tingyang Chen, Cong Fu, Jiahua Wu, Haotian Wu, Hua Fan, Xiangyu Ke, Yunjun Gao, Yabo Ni, Anxiang Zeng,
• Abstract要約: 高次元空間におけるベクトル類似度探索(VSS)は,次世代データベースシステムにおけるコア機能として急速に発展しつつある。 最近のベンチマークでは、主に距離メトリクスのみによって定義された基本真実に対するリコールレイテンシトレードオフに基づいてVSSを評価している。 我々は、現実的なアプリケーションコンテキストにおけるVSSメソッドのエンドツーエンド評価のための総合ベンチマークスイートであるIcebergを紹介する。
• 参考スコア（独自算出の注目度）: 24.456069497637035
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vector Similarity Search (VSS) in high-dimensional spaces is rapidly emerging as core functionality in next-generation database systems for numerous data-intensive services -- from embedding lookups in large language models (LLMs), to semantic information retrieval and recommendation engines. Current benchmarks, however, evaluate VSS primarily on the recall-latency trade-off against a ground truth defined solely by distance metrics, neglecting how retrieval quality ultimately impacts downstream tasks. This disconnect can mislead both academic research and industrial practice. We present Iceberg, a holistic benchmark suite for end-to-end evaluation of VSS methods in realistic application contexts. From a task-centric view, Iceberg uncovers the Information Loss Funnel, which identifies three principal sources of end-to-end performance degradation: (1) Embedding Loss during feature extraction; (2) Metric Misuse, where distances poorly reflect task relevance; (3) Data Distribution Sensitivity, highlighting index robustness across skews and modalities. For a more comprehensive assessment, Iceberg spans eight diverse datasets across key domains such as image classification, face recognition, text retrieval, and recommendation systems. Each dataset, ranging from 1M to 100M vectors, includes rich, task-specific labels and evaluation metrics, enabling assessment of retrieval algorithms within the full application pipeline rather than in isolation. Iceberg benchmarks 13 state-of-the-art VSS methods and re-ranks them based on application-level metrics, revealing substantial deviations from traditional rankings derived purely from recall-latency evaluations. Building on these insights, we define a set of task-centric meta-features and derive an interpretable decision tree to guide practitioners in selecting and tuning VSS methods for their specific workloads.
• Abstract（参考訳）: 高次元空間におけるベクトル類似性探索(VSS)は、大規模言語モデル(LLM)へのルックアップの埋め込みからセマンティック情報検索とレコメンデーションエンジンに至るまで、多くのデータ集約サービスのための次世代データベースシステムの中核機能として急速に現れている。 しかし、最近のベンチマークでは、VSSを主に、距離測定のみによって定義された基礎的な真実に対するリコールレイテンシのトレードオフに基づいて評価しており、検索品質が最終的に下流タスクにどのように影響するかを無視している。 この断絶は、学術的な研究と工業的な実践の両方を誤解させる可能性がある。 我々は、現実的なアプリケーションコンテキストにおけるVSSメソッドのエンドツーエンド評価のための総合ベンチマークスイートであるIcebergを紹介する。 タスク中心の視点から、Iceberg氏は、(1)特徴抽出中に損失を埋め込むこと、(2)タスクの関連性をあまり反映しないメトリックミス、(3)データ分散感度、スキューとモダリティ間のインデックスの堅牢性を強調すること、の3つの主要なパフォーマンス劣化の原因を特定する、Information Loss Funnelを明らかにした。 より包括的な評価のために、Icebergは画像分類、顔認識、テキスト検索、レコメンデーションシステムなど、主要なドメインにまたがる8つの多様なデータセットにまたがる。 各データセットは100万から100万のベクタで、リッチでタスク固有のラベルと評価メトリクスが含まれており、独立してではなく、完全なアプリケーションパイプライン内での検索アルゴリズムの評価を可能にする。 Icebergは13の最先端のVSSメソッドをベンチマークし、アプリケーションレベルのメトリクスに基づいて再ランクする。 これらの知見に基づいて、タスク中心のメタ機能セットを定義し、特定のワークロードに対してVSSメソッドの選択とチューニングを行う実践者を支援するための解釈可能な決定ツリーを導出する。

関連論文リスト

• Exploring Efficient Open-Vocabulary Segmentation in the Remote Sensing [55.291219073365546]
  Open-Vocabulary Remote Sensing Image (OVRSIS)は、OVS(Open-Vocabulary)をリモートセンシング(RS)ドメインに適応させる新しいタスクである。 textbfRSKT-Segは、リモートセンシングに適した新しいオープン語彙セグメンテーションフレームワークである。 RSKT-Segは高いOVSベースラインを+3.8 mIoUと+5.9 mACCで上回り、効率的なアグリゲーションによって2倍高速な推論を実現している。
  論文  参考訳（メタデータ） (2025-09-15T15:24:49Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• Human Re-ID Meets LVLMs: What can we expect? [14.370360290704197]
  人間の再識別作業における主要な視覚言語モデルの性能を比較した。 以上の結果から,LVLMの強度は確認できたが,破滅的な回答につながる場合が多い。
  論文  参考訳（メタデータ） (2025-01-30T19:00:40Z)
• Hyperspectral Imaging-Based Perception in Autonomous Driving Scenarios: Benchmarking Baseline Semantic Segmentation Models [3.6096086024478775]
  ハイパースペクトルイメージング(HSI)は、リモートセンシング、農業、医療における従来のRGBイメージングよりも優れていることで知られている。 HyKo、HSI-Drive、HSI-Road、Hyperspectral CityといったいくつかのHSIデータセットが利用可能になっている。 しかし,これらのデータセットを用いたセマンティックセグメンテーションモデル(SSM)の包括的評価は不十分である。 本研究では、HSIに基づくADAS知覚の今後の評価のために、利用可能な注釈付きデータセットのベースラインSSMベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-29T14:54:13Z)
• IRSC: A Zero-shot Evaluation Benchmark for Information Retrieval through Semantic Comprehension in Retrieval-Augmented Generation Scenarios [14.336896748878921]
  本稿では,多言語RAGタスクにおける埋め込みモデルの性能評価のためのIRSCベンチマークを提案する。 このベンチマークには、クエリ検索、タイトル検索、パラグラフ検索、キーワード検索、要約検索の5つのタスクが含まれている。 1)IRSCベンチマーク,2)SSCIとRCCIメトリクス,3)埋め込みモデルの言語間制限に関する洞察などです。
  論文  参考訳（メタデータ） (2024-09-24T05:39:53Z)
• DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
  ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。 DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。 DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
  論文  参考訳（メタデータ） (2023-07-04T01:34:41Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。