論文の概要: Sketch3T: Test-Time Training for Zero-Shot SBIR
- arxiv url: http://arxiv.org/abs/2203.14691v1
- Date: Mon, 28 Mar 2022 12:44:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 15:58:43.403064
- Title: Sketch3T: Test-Time Training for Zero-Shot SBIR
- Title（参考訳）: Sketch3T: ゼロショットSBIRのテストタイムトレーニング
- Authors: Aneeshan Sain, Ayan Kumar Bhunia, Vaishnav Potlapalli, Pinaki Nath
Chowdhury, Tao Xiang, Yi-Zhe Song
- Abstract要約: ゼロショットのスケッチに基づく画像検索は、通常、未確認のカテゴリのように訓練されたモデルを適用するように要求する。
我々は、ZS-SBIRを拡張して、両方のカテゴリとスケッチ分布に転送するよう求めます。
私たちの重要な貢献は、ひとつのスケッチを使って適応できるテスト時のトレーニングパラダイムです。
- 参考スコア（独自算出の注目度）: 106.59164595640704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot sketch-based image retrieval typically asks for a trained model to
be applied as is to unseen categories. In this paper, we question to argue that
this setup by definition is not compatible with the inherent abstract and
subjective nature of sketches, i.e., the model might transfer well to new
categories, but will not understand sketches existing in different test-time
distribution as a result. We thus extend ZS-SBIR asking it to transfer to both
categories and sketch distributions. Our key contribution is a test-time
training paradigm that can adapt using just one sketch. Since there is no
paired photo, we make use of a sketch raster-vector reconstruction module as a
self-supervised auxiliary task. To maintain the fidelity of the trained
cross-modal joint embedding during test-time update, we design a novel
meta-learning based training paradigm to learn a separation between model
updates incurred by this auxiliary task from those off the primary objective of
discriminative learning. Extensive experiments show our model to outperform
state of-the-arts, thanks to the proposed test-time adaption that not only
transfers to new categories but also accommodates to new sketching styles.
- Abstract（参考訳）: ゼロショットスケッチに基づく画像検索は、通常、カテゴリを認識できないように訓練されたモデルを適用するように要求する。
本稿では、この定義による構成は、スケッチの固有の抽象的・主観的性質とは相容れない、すなわち、モデルが新しいカテゴリにうまく移行するが、結果として異なるテスト時間分布に存在するスケッチを理解できない、という問題に疑問を呈する。
これにより、ZS-SBIRを拡張して、両方のカテゴリとスケッチ分布に転送する。
私たちの重要な貢献は、ひとつのスケッチを使って適応できるテスト時のトレーニングパラダイムです。
ペア写真がないため、スケッチラスタベクター再構築モジュールを自己監督補助タスクとして利用している。
テスト時間更新時にトレーニングされたクロスモーダルな関節埋め込みの忠実さを維持するため,我々はメタラーニングに基づく新しいトレーニングパラダイムを設計し,この補助タスクによって得られたモデル更新と差別学習の主目的から分離する。
広範な実験により,新しいカテゴリに転移するだけでなく,新しいスケッチスタイルにも適応するテストタイム適応が提案されている。
関連論文リスト
- SketchGPT: Autoregressive Modeling for Sketch Generation and Recognition [4.6519578789100215]
SketchGPTはフレキシブルなフレームワークで、シーケンスからシーケンスへの自動回帰モデルを用いてスケッチ生成と補完を行う。
複雑なスケッチを抽象的プリミティブの単純化されたシーケンスにマッピングすることで、自動回帰モデリングのための入力を大幅に合理化する。
論文 参考訳（メタデータ） (2024-05-06T01:24:14Z) - It's All About Your Sketch: Democratising Sketch Control in Diffusion Models [114.73766136068357]
本稿では,拡散モデルにおけるスケッチの可能性を明らかにするとともに,生成型AIにおける直接スケッチ制御の詐欺的可能性に対処する。
私たちはこのプロセスを民主化し、アマチュアのスケッチが正確なイメージを生成できるようにします。
論文 参考訳（メタデータ） (2024-03-12T01:05:25Z) - Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based
Image Retrieval [69.46139774646308]
本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。
目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。
ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
論文 参考訳（メタデータ） (2023-12-16T04:50:34Z) - Customize StyleGAN with One Hand Sketch [0.0]
本稿では,単一のユーザスケッチでスタイルGAN画像を制御するフレームワークを提案する。
我々は、エネルギーベース学習により、事前学習したStyleGANモデルの潜在空間における条件分布を学習する。
我々のモデルは、入力スケッチにセマンティックに整合したマルチモーダル画像を生成することができる。
論文 参考訳（メタデータ） (2023-10-29T09:32:33Z) - Active Learning for Fine-Grained Sketch-Based Image Retrieval [1.994307489466967]
フリーハンドスケッチによる写真検索能力は、きめ細かなスケッチベース画像検索(FG-SBIR)の可能性を強調している。
本稿では,写真スケッチ作成の必要性を大幅に軽減する,新しい能動的学習サンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-09-15T20:07:14Z) - Adaptive Fine-Grained Sketch-Based Image Retrieval [100.90633284767205]
最近のファイングレード・スケッチに基づく画像検索は、モデルから新しいカテゴリへの一般化へとシフトしている。
実世界のアプリケーションでは、トレーニングされたFG-SBIRモデルは、新しいカテゴリと異なる人間のスケッチラーの両方に適用されることが多い。
モデルに依存しないメタラーニング(MAML)に基づく新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-04T21:07:20Z) - Towards Unsupervised Sketch-based Image Retrieval [126.77787336692802]
本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。
このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
論文 参考訳（メタデータ） (2021-05-18T02:38:22Z) - StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval [119.03470556503942]
クロスモーダルマッチング問題は通常、写真とスケッチのモダリティ間で共有されるセマンティックコンテンツを保存する共同埋め込み空間を学習することによって解決される。
効果的なモデルには、このスタイルの多様性を明確に説明する必要がある。
我々のモデルは、モデム間で共有されるセマンティックコンテンツだけでなく、目に見えないユーザースタイルにも適応できるので、モデルは真に不可知的です。
論文 参考訳（メタデータ） (2021-03-29T15:44:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。