論文の概要: Data-Free Sketch-Based Image Retrieval

• arxiv url: http://arxiv.org/abs/2303.07775v1
• Date: Tue, 14 Mar 2023 10:34:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 15:29:28.112019
• Title: Data-Free Sketch-Based Image Retrieval
• Title（参考訳）: データフリースケッチに基づく画像検索
• Authors: Abhra Chaudhuri, Ayan Kumar Bhunia, Yi-Zhe Song, Anjan Dutta
• Abstract要約: 本研究では,事前学習された単一モダリティ分類モデルを用いて,学習データにアクセスせずに検索のためのクロスモーダルな距離空間を学習するData-Free (DF)-SBIRを提案する。 本稿では、写真やスケッチの分類を行うために、独立して訓練されたモデルからの知識を活用できるDF-SBIRの方法論を提案する。 また、トレーニングデータを必要としないデータ依存アプローチと競合するmAPを実現する。
• 参考スコア（独自算出の注目度）: 56.96186184599313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rising concerns about privacy and anonymity preservation of deep learning models have facilitated research in data-free learning (DFL). For the first time, we identify that for data-scarce tasks like Sketch-Based Image Retrieval (SBIR), where the difficulty in acquiring paired photos and hand-drawn sketches limits data-dependent cross-modal learning algorithms, DFL can prove to be a much more practical paradigm. We thus propose Data-Free (DF)-SBIR, where, unlike existing DFL problems, pre-trained, single-modality classification models have to be leveraged to learn a cross-modal metric-space for retrieval without access to any training data. The widespread availability of pre-trained classification models, along with the difficulty in acquiring paired photo-sketch datasets for SBIR justify the practicality of this setting. We present a methodology for DF-SBIR, which can leverage knowledge from models independently trained to perform classification on photos and sketches. We evaluate our model on the Sketchy, TU-Berlin, and QuickDraw benchmarks, designing a variety of baselines based on state-of-the-art DFL literature, and observe that our method surpasses all of them by significant margins. Our method also achieves mAPs competitive with data-dependent approaches, all the while requiring no training data. Implementation is available at \url{https://github.com/abhrac/data-free-sbir}.
• Abstract（参考訳）: ディープラーニングモデルのプライバシーと匿名性に関する懸念が高まり、データフリーラーニング(DFL)の研究が促進された。 まず,Sketch-based Image Retrieval (SBIR) のようなデータ共有タスクにおいて,ペア写真と手書きスケッチの取得が困難である場合には,データ依存のクロスモーダル学習アルゴリズムが制限されるため,DFLはより実用的なパラダイムであることが証明できる。 そこで本研究では,既存のDFL問題と異なり,事前学習された単一モード分類モデルを用いて,学習データにアクセスせずに検索のためのクロスモーダルな距離空間を学習する必要があるデータ自由(DF)-SBIRを提案する。 事前訓練された分類モデルの普及と、SBIR用のペア写真スケッチデータセット取得の難しさは、この設定の実用性を正当化する。 本稿では,写真やスケッチの分類を個別に訓練したモデルからの知識を活用できるdf-sbirの方法論を提案する。 我々は,sketchy,tu-berlin,quickdrawベンチマークのモデルを評価し,最先端dfl文献に基づく各種ベースラインの設計を行い,提案手法がこれらすべてを大幅に超えることを確かめた。 また、トレーニングデータを必要としないデータ依存アプローチと競合するmAPを実現する。 実装は \url{https://github.com/abhrac/data-free-sbir} で利用可能である。

関連論文リスト

• One-Shot Unlearning of Personal Identities [38.36863497458095]
  O-UPI (One-Shot Unlearning of Personal Identities) は、トレーニングデータがアクセスできない場合の未学習モデルを評価する。 CelebAとCelebA-HQデータセットの忘れを、異なる学習セットサイズでベンチマークする。 得られたサンプルとトレーニング時に使用するデータとの相違点がある場合,データ可用性が制限された場合,既存のアプローチは困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-16T10:00:54Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval [10.568851068989973]
  ゼロショット学習は、機械学習モデルが目に見えないカテゴリを扱うための効率的なソリューションを提供する。 そこで本研究では,スケッチや写真をテキストで対比して間接的にアライメントする新しいフレームワークを提案する。 データから学習したモダリティを明示的に符号化することで、モダリティ固有の情報からモダリティに依存しないセマンティクスを分離する。
  論文  参考訳（メタデータ） (2024-01-10T00:39:03Z)
• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• The Journey, Not the Destination: How Data Guides Diffusion Models [75.19694584942623]
  大規模なデータセットでトレーニングされた拡散モデルは、顕著な品質と多様性のフォトリアリスティックなイメージを合成することができる。 i)拡散モデルの文脈でデータ属性の形式的概念を提供し、(ii)そのような属性を反実的に検証することを可能にする枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-11T08:39:43Z)
• Exploring Data Redundancy in Real-world Image Classification through Data Selection [20.389636181891515]
  ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。 実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。 オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
  論文  参考訳（メタデータ） (2023-06-25T03:31:05Z)
• More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval [112.1756171062067]
  クロスモーダル検索のための新しい半監視フレームワークについて紹介する。 私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。 また,不適切な生成を誘導する判別器誘導機構も導入する。
  論文  参考訳（メタデータ） (2021-03-25T17:27:08Z)
• Unsupervised Noisy Tracklet Person Re-identification [100.85530419892333]
  本稿では,非照合トラックレットデータから識別的人物再識別モデルを訓練できる選択的トラックレット学習(STL)手法を提案する。 これにより、カメラビュー全体で人物の画像/トラックレットの真のマッチングペアを完全にラベル付けする面倒でコストのかかるプロセスが回避されます。 提案手法は生トラックレットの任意のノイズデータに対して特に頑健であるため,制約のない追跡データから識別モデル学習にスケーラブルである。
  論文  参考訳（メタデータ） (2021-01-16T07:31:00Z)
• Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge [55.32035138692167]
  クロスモーダルな知識蒸留は、優れたモーダルで訓練されたモデルから弱いモーダルで訓練された別のモデルに知識を移すことを扱う。 本研究では,教師が利用できないターゲットデータセットにおいて,生徒を訓練するための新しいスキームを提案する。
  論文  参考訳（メタデータ） (2020-04-01T00:28:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。