論文の概要: Adaptive Fine-Grained Sketch-Based Image Retrieval

• arxiv url: http://arxiv.org/abs/2207.01723v2
• Date: Wed, 6 Jul 2022 15:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 08:36:40.335316
• Title: Adaptive Fine-Grained Sketch-Based Image Retrieval
• Title（参考訳）: 適応的細粒スケッチに基づく画像検索
• Authors: Ayan Kumar Bhunia, Aneeshan Sain, Parth Shah, Animesh Gupta, Pinaki Nath Chowdhury, Tao Xiang, Yi-Zhe Song
• Abstract要約: 最近のファイングレード・スケッチに基づく画像検索は、モデルから新しいカテゴリへの一般化へとシフトしている。 実世界のアプリケーションでは、トレーニングされたFG-SBIRモデルは、新しいカテゴリと異なる人間のスケッチラーの両方に適用されることが多い。 モデルに依存しないメタラーニング(MAML)に基づく新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 100.90633284767205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent focus on Fine-Grained Sketch-Based Image Retrieval (FG-SBIR) has shifted towards generalising a model to new categories without any training data from them. In real-world applications, however, a trained FG-SBIR model is often applied to both new categories and different human sketchers, i.e., different drawing styles. Although this complicates the generalisation problem, fortunately, a handful of examples are typically available, enabling the model to adapt to the new category/style. In this paper, we offer a novel perspective -- instead of asking for a model that generalises, we advocate for one that quickly adapts, with just very few samples during testing (in a few-shot manner). To solve this new problem, we introduce a novel model-agnostic meta-learning (MAML) based framework with several key modifications: (1) As a retrieval task with a margin-based contrastive loss, we simplify the MAML training in the inner loop to make it more stable and tractable. (2) The margin in our contrastive loss is also meta-learned with the rest of the model. (3) Three additional regularisation losses are introduced in the outer loop, to make the meta-learned FG-SBIR model more effective for category/style adaptation. Extensive experiments on public datasets suggest a large gain over generalisation and zero-shot based approaches, and a few strong few-shot baselines.
• Abstract（参考訳）: 最近のFG-SBIR(Fin-Grained Sketch-Based Image Retrieval)の焦点は、トレーニングデータなしで新しいカテゴリにモデルを一般化することへと移行している。 しかし、現実の応用においては、訓練されたFG-SBIRモデルは、新しいカテゴリと異なる人間のスケッチ、すなわち異なる描画スタイルの両方に適用されることが多い。 これは一般化の問題を複雑にしますが、幸いにもいくつかの例が一般的に利用可能で、モデルが新しいカテゴリ/スタイルに適応できるようにしています。 本稿では、新しい視点を提供します -- 一般化するモデルを求めるのではなく、テスト中に(数ショットで)ごくわずかなサンプルで、迅速に適応するモデルを提案します。 この問題を解決するために,モデルに依存しないメタラーニング(MAML)に基づく新しいフレームワークを導入する。(1) マージンベースのコントラスト損失のある検索タスクとして,内部ループでのMAMLトレーニングを簡素化し,より安定かつトラクタブルにする。 (2) 対照的な損失のマージンは、モデルの他の部分ともメタ学習される。 (3) メタ学習型FG-SBIRモデルをカテゴリー/スタイル適応に有効にするため, 外部ループに3つの追加正規化損失が導入された。 公開データセットに関する広範囲な実験は、一般化やゼロショットベースアプローチに対する大きな利益と、少数の強力なマイナショットベースラインを示唆している。

関連論文リスト

• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Robust Image Ordinal Regression with Controllable Image Generation [12.787258917766005]
  我々は、制御可能な画像生成に基づくCIGと呼ばれる新しいフレームワークを提案する。 私たちの基本的なアイデアは、カテゴリ境界に近い特定のラベルを持つ追加のトレーニングサンプルを生成することです。 我々は,新しいCIGアプローチの有効性を3つの異なる画像順序回帰シナリオで評価した。
  論文  参考訳（メタデータ） (2023-05-07T08:10:56Z)
• Demystifying the Base and Novel Performances for Few-shot Class-incremental Learning [15.762281194023462]
  FSCIL(Few-shot class-incremental Learning)は、目に見えない新しいクラスがほとんどサンプルを持って絶えずやってくる現実のシナリオに対処している。 先行知識を忘れずに新しいクラスを認識するモデルを開発する必要がある。 本手法は,高度な最先端アルゴリズムと同等の性能を有することを示す。
  論文  参考訳（メタデータ） (2022-06-18T00:39:47Z)
• Sketch3T: Test-Time Training for Zero-Shot SBIR [106.59164595640704]
  ゼロショットのスケッチに基づく画像検索は、通常、未確認のカテゴリのように訓練されたモデルを適用するように要求する。 我々は、ZS-SBIRを拡張して、両方のカテゴリとスケッチ分布に転送するよう求めます。 私たちの重要な貢献は、ひとつのスケッチを使って適応できるテスト時のトレーニングパラダイムです。
  論文  参考訳（メタデータ） (2022-03-28T12:44:49Z)
• Learning What Not to Segment: A New Perspective on Few-Shot Segmentation [63.910211095033596]
  近年では、FSS ( few-shot segmentation) が広く開発されている。 本稿では,問題を緩和するための新鮮で直接的な知見を提案する。 提案されたアプローチのユニークな性質を踏まえて、より現実的で挑戦的な設定にまで拡張する。
  論文  参考訳（メタデータ） (2022-03-15T03:08:27Z)
• Few Shot Activity Recognition Using Variational Inference [9.371378627575883]
  本稿では,少数のショットアクティビティ認識のための新しい変分推論ベースアーキテクチャフレームワーク(HF-AR)を提案する。 筆者らの枠組みは, 容積保存型家庭用フローを活用して, 新規クラスの柔軟な後部分布を学習する。 これにより、人間の行動認識のための最先端のショットアプローチと比較して、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-08-20T03:57:58Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)
• Complementing Representation Deficiency in Few-shot Image Classification: A Meta-Learning Approach [27.350615059290348]
  本稿では,MCRNetを用いたメタラーニング手法を提案する。 特に、潜時空間を埋め込んで、潜時符号を余分な表現情報で再構成し、表現不足を補完する。 我々のエンドツーエンドフレームワークは、3つの標準的な数ショット学習データセット上の画像分類における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-21T13:25:54Z)
• FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers [67.46036826589467]
  本稿では,データ例のラベルを使わずに,変換の分布によって引き起こされる特徴表現の変化を学習することで,新たな正規化機構を提案する。 エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。 実験結果から,文学における現在の最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2019-12-29T15:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。