論文の概要: Revisiting Hotels-50K and Hotel-ID
- arxiv url: http://arxiv.org/abs/2207.10200v1
- Date: Wed, 20 Jul 2022 21:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 13:30:20.313707
- Title: Revisiting Hotels-50K and Hotel-ID
- Title(参考訳): ホテル50KとホテルIDの見直し
- Authors: Aarash Feizi, Arantxa Casanova, Adriana Romero-Soriano, Reihaneh
Rabbany
- Abstract要約: 本稿では,ホテル50KとホテルIDの2つのホテル認識データセットの改訂版を提案する。
再検討されたバージョンは、意図した現実世界のアプリケーションとの整合性を改善するために、さまざまなレベルの困難を伴う評価設定を提供する。
- 参考スコア(独自算出の注目度): 4.794489647730955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose revisited versions for two recent hotel recognition
datasets: Hotels50K and Hotel-ID. The revisited versions provide evaluation
setups with different levels of difficulty to better align with the intended
real-world application, i.e. countering human trafficking. Real-world scenarios
involve hotels and locations that are not captured in the current data sets,
therefore it is important to consider evaluation settings where classes are
truly unseen. We test this setup using multiple state-of-the-art image
retrieval models and show that as expected, the models' performances decrease
as the evaluation gets closer to the real-world unseen settings. The rankings
of the best performing models also change across the different evaluation
settings, which further motivates using the proposed revisited datasets.
- Abstract(参考訳): 本稿では,最近のホテル認識データセットであるHotels50KとHotel-IDの改訂版を提案する。
改訂されたバージョンは、意図した現実世界のアプリケーション、すなわち人身売買に対抗するために、様々なレベルの評価設定を提供する。
現実のシナリオには、現在のデータセットにキャプチャされていないホテルやロケーションが含まれるため、クラスが本当に目に見えないような評価設定を検討することが重要です。
我々は,複数の最先端画像検索モデルを用いてこの設定をテストし,期待通り,評価が実世界の未認識設定に近づくにつれて,モデルの性能が低下することを示す。
ベストパフォーマンスモデルのランキングは、異なる評価設定で変更され、提案された再訪データセットの使用をさらに動機付ける。
関連論文リスト
- BEHAVIOR Vision Suite: Customizable Dataset Generation via Simulation [57.40024206484446]
我々は、コンピュータビジョンモデルの体系的評価のために、完全にカスタマイズされた合成データを生成するためのツールと資産のセットであるBEHAVIOR Vision Suite(BVS)を紹介する。
BVSはシーンレベルで多数の調整可能なパラメータをサポートする。
アプリケーションシナリオを3つ紹介する。
論文 参考訳(メタデータ) (2024-05-15T17:57:56Z) - Benchmarking person re-identification datasets and approaches for
practical real-world implementations [1.0079626733116613]
人物再識別(Re-ID)は注目されている。
しかし、そのようなRe-IDモデルが新しい都市や環境に配備される場合、セキュリティカメラのネットワーク内の人々を探すタスクは、重要なドメインシフトに直面している可能性が高い。
本稿では、ライブオペレーションにおける教師なしデプロイメントに適したデータセットの評価方法について、Re-IDアプローチとトレーニングデータセットの完全な評価手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T03:45:38Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳(メタデータ) (2022-10-19T16:19:37Z) - Deconstructing Self-Supervised Monocular Reconstruction: The Design
Decisions that Matter [63.5550818034739]
本稿では,自己教師付き単分子深度推定への最先端の貢献を評価するための枠組みを提案する。
事前トレーニング、バックボーン、アーキテクチャ設計の選択、損失関数が含まれる。
我々は16の最先端コントリビューションを再実装し、検証し、再評価し、新しいデータセットを導入します。
論文 参考訳(メタデータ) (2022-08-02T14:38:53Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - Ranking Models in Unlabeled New Environments [74.33770013525647]
ラベルのない新しい環境におけるランキングモデルの問題を紹介する。
1)完全にラベル付けされたプロキシデータセットを使用し、2)所定のターゲット環境での真のモデルランキングをよく反映します。
具体的には、ラベル付けされていないターゲットドメインに近いデータセットは、相対的なパフォーマンスランキングをよりよく保存する。
論文 参考訳(メタデータ) (2021-08-23T17:57:15Z) - BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information
Retrieval Models [41.45240621979654]
情報検索のための異種ベンチマークであるBEIRを紹介する。
ゼロショット評価設定における9つの最先端の検索モデルの有効性を検討する。
Dense-Retrievalモデルは計算効率が良いが、他のアプローチでは性能が劣ることが多い。
論文 参考訳(メタデータ) (2021-04-17T23:29:55Z) - Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。
10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。
我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
論文 参考訳(メタデータ) (2020-04-06T14:47:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。