論文の概要: FiCo-ITR: bridging fine-grained and coarse-grained image-text retrieval for comparative performance analysis
- arxiv url: http://arxiv.org/abs/2407.20114v1
- Date: Mon, 29 Jul 2024 15:44:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 13:15:14.420603
- Title: FiCo-ITR: bridging fine-grained and coarse-grained image-text retrieval for comparative performance analysis
- Title（参考訳）: FiCo-ITR:細粒度および粗粒度画像テキスト検索による比較性能解析
- Authors: Mikel Williams-Lekuona, Georgina Cosma,
- Abstract要約: 本稿では,FGモデルとCGモデルの両方の評価手法を標準化したtexttFiCo-ITRライブラリを提案する。
両サブフィールドから代表モデルの実証的評価を行い,精度,リコール,計算複雑性を分析した。
この結果から,最近の代表的FGモデルとCGモデル間の性能・効率トレードオフに関する新たな知見が得られ,それぞれの強みと限界が浮き彫りになった。
- 参考スコア（独自算出の注目度）: 1.0972875392165036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of Image-Text Retrieval (ITR), recent advancements have leveraged large-scale Vision-Language Pretraining (VLP) for Fine-Grained (FG) instance-level retrieval, achieving high accuracy at the cost of increased computational complexity. For Coarse-Grained (CG) category-level retrieval, prominent approaches employ Cross-Modal Hashing (CMH) to prioritise efficiency, albeit at the cost of retrieval performance. Due to differences in methodologies, FG and CG models are rarely compared directly within evaluations in the literature, resulting in a lack of empirical data quantifying the retrieval performance-efficiency tradeoffs between the two. This paper addresses this gap by introducing the \texttt{FiCo-ITR} library, which standardises evaluation methodologies for both FG and CG models, facilitating direct comparisons. We conduct empirical evaluations of representative models from both subfields, analysing precision, recall, and computational complexity across varying data scales. Our findings offer new insights into the performance-efficiency trade-offs between recent representative FG and CG models, highlighting their respective strengths and limitations. These findings provide the foundation necessary to make more informed decisions regarding model selection for specific retrieval tasks and highlight avenues for future research into hybrid systems that leverage the strengths of both FG and CG approaches.
- Abstract（参考訳）: Image-Text Retrieval (ITR) の分野では、最近の進歩は、FG(Fined)インスタンスレベルの検索に大規模なビジョンランゲージ事前学習(VLP)を活用し、計算複雑性を増大させるコストで高い精度を実現している。
粗粒度(CG)カテゴリレベルの検索では,検索性能を犠牲にすることなく,Cross-Modal Hashing(CMH)を用いて効率を優先する。
手法の相違により、FGとCGモデルは文献評価において直接比較されることは稀であり、両者間の検索性能・効率のトレードオフを定量化する実証データが欠如している。
本稿では,FGモデルとCGモデルの両方で評価手法を標準化し,直接比較を容易にするライブラリ「texttt{FiCo-ITR}」を導入することで,このギャップに対処する。
両サブフィールドから代表モデルの実証的評価を行い,精度,リコール,計算複雑性をさまざまなデータスケールで分析する。
その結果,最近の代表的FGモデルとCGモデル間の性能・効率トレードオフに関する新たな知見が得られ,それぞれの強みと限界が浮き彫りになった。
これらの知見は、特定の検索タスクに対するモデル選択に関するより詳細な決定を行うために必要な基盤を提供し、FGとCGの両アプローチの長所を生かしたハイブリッドシステムの今後の研究への道のりを明らかにする。
関連論文リスト
- Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods [0.0]
本研究では, 教科書の構造的性質, 記事の簡潔さ, 小説の物語的複雑さについて, 明確な検索戦略が必要であることを示した。
オープンソースのモデルを用いて,質問対と回答対の包括的データセットを生成する新しい評価手法を提案する。
評価には、SequenceMatcher、BLEU、METEOR、BERT Scoreなどの重み付けされたスコアを使用して、システムの正確性と妥当性を評価する。
論文 参考訳（メタデータ） (2024-09-13T02:08:47Z) - Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。
提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
論文 参考訳（メタデータ） (2024-06-04T12:43:23Z) - Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2023-11-15T16:26:49Z) - Rethinking Benchmarks for Cross-modal Image-text Retrieval [44.31783230767321]
クロスモーダルな意味理解とマッチングは、画像テキスト検索において大きな課題である。
本稿では,2つの共通ベンチマークをレビューし,そのモデルが細粒度横断的セマンティックマッチングにおける真の能力を評価するには不十分であることを考察する。
本研究では, 粗粒度を細粒度に微粒化するための半自動改質手法を提案する。
その結果、最先端のモデルでさえ、きめ細かいセマンティック理解を改善する余地があることが判明した。
論文 参考訳（メタデータ） (2023-04-21T09:07:57Z) - Transformer-based Context Condensation for Boosting Feature Pyramids in
Object Detection [77.50110439560152]
現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。
我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。
特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
論文 参考訳（メタデータ） (2022-07-14T01:45:03Z) - Adaptive Fine-Grained Predicates Learning for Scene Graph Generation [122.4588401267544]
一般的なシーングラフ生成(SGG)モデルは、頭部の述語を予測する傾向があり、再バランス戦略は尾のカテゴリを好む。
本稿では,SGGの難解な述語を識別することを目的とした適応的微粒述語学習(FGPL-A)を提案する。
提案したモデル非依存戦略は,VG-SGGおよびGQA-SGGデータセットのベンチマークモデルの性能を最大175%,Mean Recall@100では76%向上させ,新たな最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-11T03:37:57Z) - An Evaluation Study of Generative Adversarial Networks for Collaborative
Filtering [75.83628561622287]
本研究は、原論文で発表された結果の再現に成功し、CFGANフレームワークと原評価で使用されるモデルとの相違が与える影響について論じる。
この研究は、CFGANと単純でよく知られた適切に最適化されたベースラインの選択を比較した実験的な分析をさらに拡張し、CFGANは高い計算コストにもかかわらず、それらに対して一貫して競合していないことを観察した。
論文 参考訳（メタデータ） (2022-01-05T20:53:27Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳（メタデータ） (2021-09-24T17:37:35Z) - BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information
Retrieval Models [41.45240621979654]
情報検索のための異種ベンチマークであるBEIRを紹介する。
ゼロショット評価設定における9つの最先端の検索モデルの有効性を検討する。
Dense-Retrievalモデルは計算効率が良いが、他のアプローチでは性能が劣ることが多い。
論文 参考訳（メタデータ） (2021-04-17T23:29:55Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳（メタデータ） (2021-03-22T20:36:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。