論文の概要: Semantic Certainty Assessment in Vector Retrieval Systems: A Novel Framework for Embedding Quality Evaluation

• arxiv url: http://arxiv.org/abs/2507.05933v1
• Date: Tue, 08 Jul 2025 12:33:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:38.041288
• Title: Semantic Certainty Assessment in Vector Retrieval Systems: A Novel Framework for Embedding Quality Evaluation
• Title（参考訳）: ベクトル検索システムにおけるセマンティック不確実性評価:品質評価を組み込む新しい枠組み
• Authors: Y. Du,
• Abstract要約: ベクトル検索システムは、不均一な埋め込み品質のため、クエリ間で大きな性能ばらつきを示す。 本稿では,量子化ロバストネスと近傍密度のメトリクスを組み合わせることで,クエリレベルでの検索性能を予測するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector retrieval systems exhibit significant performance variance across queries due to heterogeneous embedding quality. We propose a lightweight framework for predicting retrieval performance at the query level by combining quantization robustness and neighborhood density metrics. Our approach is motivated by the observation that high-quality embeddings occupy geometrically stable regions in the embedding space and exhibit consistent neighborhood structures. We evaluate our method on 4 standard retrieval datasets, showing consistent improvements of 9.4$\pm$1.2\% in Recall@10 over competitive baselines. The framework requires minimal computational overhead (less than 5\% of retrieval time) and enables adaptive retrieval strategies. Our analysis reveals systematic patterns in embedding quality across different query types, providing insights for targeted training data augmentation.
• Abstract（参考訳）: ベクトル検索システムは、不均一な埋め込み品質のため、クエリ間で大きな性能ばらつきを示す。 量子化ロバストネスと近傍密度のメトリクスを組み合わせることで,クエリレベルでの検索性能を予測するための軽量なフレームワークを提案する。 提案手法は,高品質な埋め込みが埋め込み空間の幾何学的に安定な領域を占有し,一貫した近傍構造を示すという観察に動機づけられる。 提案手法を4つの標準検索データセット上で評価し,Recall@10における競合ベースラインに対する9.4$\pm$1.2\%の改善点を示した。 このフレームワークは、最小の計算オーバーヘッド(検索時間の5倍未満)を必要とし、適応的な検索戦略を可能にする。 分析の結果,クエリタイプ毎に品質を埋め込んだ場合の体系的パターンが明らかとなり,ターゲットとするトレーニングデータ拡張に対する洞察が得られた。

関連論文リスト

• RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems [35.47591417637136]
  Retrieval-Augmented Generation (RAG)は、回答の正確性と事実性を高める。 既存の評価では、これらのシステムが現実世界のノイズ、内部と外部の取得したコンテキストの衝突、あるいは急速に変化する事実にどのように対処するかを検査することはめったにない。 本稿では,動的で時間に敏感なコーパス上でのストレステストクエリと文書摂動を共同で行う,統一されたフレームワークと大規模ベンチマークであるRetrieval-Aware Robustness Evaluation (RARE)を紹介する。
  論文  参考訳（メタデータ） (2025-06-01T02:42:36Z)
• vCache: Verified Semantic Prompt Caching [75.87215136638828]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval [0.7421845364041001]
  本稿では、意味テキスト検索と知識グラフを統合することにより、RAG検索プロセスを強化する新しい手法であるSKETCHを紹介する。 SKETCHは、p answer_relevancy, faithfulness, context_precision, context_recallといった主要なRAGASメトリクスのベースラインアプローチを一貫して上回っている。 結果は、SKETCHがより正確で文脈的に関連する応答を提供する能力を強調し、将来の検索システムに新しいベンチマークを設定する。
  論文  参考訳（メタデータ） (2024-12-19T22:51:56Z)
• RAG Playground: A Framework for Systematic Evaluation of Retrieval Strategies and Prompt Engineering in RAG Systems [7.418034397164883]
  RAG Playgroundは、Retrieval-Augmented Generation (RAG)システムの体系的評価のためのオープンソースのフレームワークである。 本稿では,新しいメトリクスを用いた包括的評価フレームワークを導入し,異なる言語モデルの比較実験結果を提供する。
  論文  参考訳（メタデータ） (2024-12-16T19:40:26Z)
• Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods [0.0]
  本研究では, 教科書の構造的性質, 記事の簡潔さ, 小説の物語的複雑さについて, 明確な検索戦略が必要であることを示した。 オープンソースのモデルを用いて,質問対と回答対の包括的データセットを生成する新しい評価手法を提案する。 評価には、SequenceMatcher、BLEU、METEOR、BERT Scoreなどの重み付けされたスコアを使用して、システムの正確性と妥当性を評価する。
  論文  参考訳（メタデータ） (2024-09-13T02:08:47Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics [88.39382177059747]
  メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。 ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
  論文  参考訳（メタデータ） (2023-02-03T02:40:54Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。