論文の概要: iQPP: A Benchmark for Image Query Performance Prediction
- arxiv url: http://arxiv.org/abs/2302.10126v1
- Date: Mon, 20 Feb 2023 17:56:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 14:48:28.764571
- Title: iQPP: A Benchmark for Image Query Performance Prediction
- Title(参考訳): iQPP: 画像クエリのパフォーマンス予測のためのベンチマーク
- Authors: Eduard Poesina, Radu Tudor Ionescu, Josiane Mothe
- Abstract要約: 画像クエリ性能予測(iQPP)のための最初のベンチマークを提案する。
2つの最先端画像検索モデルを用いて,各問合せの根本的難易度を平均精度または精度@kとして推定する。
次に,新しい検索前および検索後クエリ性能予測器を提案し,既存の(テキストから画像まで)予測器と比較した。
我々の総合的な実験は、iQPPは挑戦的なベンチマークであり、将来の作業で対処する必要がある重要な研究ギャップを明らかにしていることを示している。
- 参考スコア(独自算出の注目度): 24.573869540845124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To date, query performance prediction (QPP) in the context of content-based
image retrieval remains a largely unexplored task, especially in the
query-by-example scenario, where the query is an image. To boost the
exploration of the QPP task in image retrieval, we propose the first benchmark
for image query performance prediction (iQPP). First, we establish a set of
four data sets (PASCAL VOC 2012, Caltech-101, ROxford5k and RParis6k) and
estimate the ground-truth difficulty of each query as the average precision or
the precision@k, using two state-of-the-art image retrieval models. Next, we
propose and evaluate novel pre-retrieval and post-retrieval query performance
predictors, comparing them with existing or adapted (from text to image)
predictors. The empirical results show that most predictors do not generalize
across evaluation scenarios. Our comprehensive experiments indicate that iQPP
is a challenging benchmark, revealing an important research gap that needs to
be addressed in future work. We release our code and data as open source at
https://github.com/Eduard6421/iQPP, to foster future research.
- Abstract(参考訳): 現在まで、コンテンツベースの画像検索の文脈におけるクエリ性能予測(QPP)は、特にクエリがイメージであるクエリ・バイ・サンプルのシナリオにおいて、ほとんど探索されていないタスクである。
画像検索におけるQPPタスクの探索を促進するため,画像クエリ性能予測のための最初のベンチマーク(iQPP)を提案する。
まず,4つのデータセット(PASCAL VOC 2012 Caltech-101, ROxford5k, RParis6k)のセットを構築し,2つの最先端画像検索モデルを用いて,各クエリの真正度を平均精度または精度として推定する。
次に,新しい検索前および検索後クエリ性能予測器を提案し,既存の(テキストから画像まで)予測器と比較した。
実験の結果、ほとんどの予測子は評価シナリオをまたいで一般化しないことがわかった。
総合実験の結果,iqppは難解なベンチマークであり,今後の研究で取り組むべき重要な研究ギャップを明らかにすることができた。
コードとデータはhttps://github.com/Eduard6421/iQPPでオープンソースとして公開しています。
関連論文リスト
- MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot
Question Answering [68.52980461474752]
オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。
我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。
次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。
同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
論文 参考訳(メタデータ) (2023-10-08T04:44:36Z) - Performance Metrics for Probabilistic Ordinal Classifiers [1.6653762541912462]
通常の分類モデルは、真のクラスからさらに離れた予測により高い罰則を割り当てる。
本稿では,階層化確率スコア(RPS, Ranked Probability Score)を画像グレーティングに活用することを提唱する。
論文 参考訳(メタデータ) (2023-09-15T18:45:15Z) - Mitigating Test-Time Bias for Fair Image Retrieval [18.349154934096784]
我々は、中立なテキストクエリにより、公平で偏りのない画像検索結果を生成するという課題に対処する。
本稿では,事前学習した視覚言語モデルから出力を後処理する簡単な手法であるポストホックバイアス緩和手法を提案する。
提案手法は,テキストによる画像検索結果において,既存の様々なバイアス軽減手法と比較して,最も低いバイアスを実現する。
論文 参考訳(メタデータ) (2023-05-23T21:31:16Z) - Query Performance Prediction: From Ad-hoc to Conversational Search [55.37199498369387]
クエリパフォーマンス予測(QPP)は、情報検索における中核的なタスクである。
アドホック検索におけるQPPの有効性と有用性について検討した。
その可能性にもかかわらず、会話検索のためのQPPはほとんど研究されていない。
論文 参考訳(メタデータ) (2023-05-18T12:37:01Z) - Progressive End-to-End Object Detection in Crowded Scenes [96.92416613336096]
以前のクエリベースの検出器は2つの欠点に悩まされていた: まず、複数の予測が1つのオブジェクトに対して推論される。
具体的には、まず受理されたクエリを選択して正の予測を生成し、その後、受理された予測に従って残雑音のあるクエリを精査する。
提案手法は,混み合ったシーンにおける問合せ型検出器の性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2022-03-15T06:12:00Z) - Where Does the Performance Improvement Come From? - A Reproducibility
Concern about Image-Text Retrieval [85.03655458677295]
画像テキスト検索は、情報検索分野において、徐々に主要な研究方向になりつつある。
まず、画像テキスト検索タスクに焦点が当てられている理由と関連性について検討する。
本研究では,事前学習と非事前学習による検索モデルの再現の諸側面を解析する。
論文 参考訳(メタデータ) (2022-03-08T05:01:43Z) - Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。
まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。
次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
論文 参考訳(メタデータ) (2021-02-10T15:23:20Z) - On Creating Benchmark Dataset for Aerial Image Interpretation: Reviews,
Guidances and Million-AID [57.71601467271486]
本稿では,RS画像解釈に適したベンチマークデータセットを効率的に作成する方法の問題点について論じる。
本稿ではまず,文献計測によるRS画像解釈のためのインテリジェントアルゴリズム開発における課題について分析する。
提案したガイダンスに続いて、RSイメージデータセットの構築例、すなわち、新しい大規模ベンチマークデータセットであるMario-AIDも提供する。
論文 参考訳(メタデータ) (2020-06-22T17:59:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。