論文の概要: Interpretable Foreground Object Search As Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2007.09867v2
- Date: Wed, 22 Jul 2020 03:33:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 13:50:18.209562
- Title: Interpretable Foreground Object Search As Knowledge Distillation
- Title(参考訳): 知識蒸留としての解釈可能な前景オブジェクト探索
- Authors: Boren Li, Po-Yu Zhuang, Jian Gu, Mingyang Li, Ping Tan
- Abstract要約: まず、交換可能なフォアグラウンドのラベルを含むパターンレベルのFoSデータセットを構築するパイプラインを提示する。
そして、パイプラインに続くさらなるトレーニングとテストのためのベンチマークデータセットを構築します。
提案手法は, 平均平均精度 (mAP) で評価し, 絶対差が10.42%, 相対改善が24.06%向上した。
- 参考スコア(独自算出の注目度): 34.8831793663634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a knowledge distillation method for foreground object
search (FoS). Given a background and a rectangle specifying the foreground
location and scale, FoS retrieves compatible foregrounds in a certain category
for later image composition. Foregrounds within the same category can be
grouped into a small number of patterns. Instances within each pattern are
compatible with any query input interchangeably. These instances are referred
to as interchangeable foregrounds. We first present a pipeline to build
pattern-level FoS dataset containing labels of interchangeable foregrounds. We
then establish a benchmark dataset for further training and testing following
the pipeline. As for the proposed method, we first train a foreground encoder
to learn representations of interchangeable foregrounds. We then train a query
encoder to learn query-foreground compatibility following a knowledge
distillation framework. It aims to transfer knowledge from interchangeable
foregrounds to supervise representation learning of compatibility. The query
feature representation is projected to the same latent space as interchangeable
foregrounds, enabling very efficient and interpretable instance-level search.
Furthermore, pattern-level search is feasible to retrieve more controllable,
reasonable and diverse foregrounds. The proposed method outperforms the
previous state-of-the-art by 10.42% in absolute difference and 24.06% in
relative improvement evaluated by mean average precision (mAP). Extensive
experimental results also demonstrate its efficacy from various aspects. The
benchmark dataset and code will be release shortly.
- Abstract(参考訳): 本稿では,フォアグラウンドオブジェクト探索(FoS)のための知識蒸留手法を提案する。
前景の位置と規模を指定する背景と矩形が与えられた後、FoSは後続の画像合成のためにあるカテゴリの互換性のある前景を検索する。
同じカテゴリのフォアグラウンドは、少数のパターンにグループ化することができる。
各パターン内のインスタンスは、任意のクエリ入力と互換性がある。
これらのインスタンスは交換可能なフォアグラウンドと呼ばれる。
まず,交換可能なフォアグラウンドのラベルを含むパターンレベルのfosデータセットを構築するパイプラインを提案する。
そして、パイプラインに続くさらなるトレーニングとテストのためのベンチマークデータセットを構築します。
提案手法では,まずフォアグラウンドエンコーダを訓練し,交換可能なフォアグラウンドの表現を学習する。
次に、知識蒸留フレームワークに従ってクエリー-フォアグラウンド互換性を学ぶためにクエリエンコーダをトレーニングします。
互換性の表現学習を監督するために、交換可能なフォアグラウンドから知識を転送することを目的としている。
クエリ特徴表現は交換可能な前景と同じ潜在空間に投影され、非常に効率的で解釈可能なインスタンスレベルの検索を可能にする。
さらに、パターンレベルの検索は、より制御可能で合理的で多様なフォアグラウンドで検索することができる。
提案手法は, 平均平均精度 (mAP) により, 絶対差が10.42%, 相対改善が24.06%向上した。
広範な実験結果も様々な側面からその効果を示している。
ベンチマークデータセットとコードはまもなくリリースされる。
関連論文リスト
- PDiscoNet: Semantically consistent part discovery for fine-grained
recognition [62.12602920807109]
画像レベルのクラスラベルのみを用いて,対象部品の発見を推奨する先行情報とともにPDiscoNetを提案する。
CUB,CelebA,PartImageNet で得られた結果から,提案手法は従来手法よりもかなり優れた部分発見性能が得られることがわかった。
論文 参考訳(メタデータ) (2023-09-06T17:19:29Z) - Improving Out-of-Distribution Detection with Disentangled Foreground and Background Features [23.266183020469065]
本稿では,IDトレーニングサンプルから前景と背景の特徴を密接な予測手法によって切り離す新しいフレームワークを提案する。
これは、様々な既存のOOD検出メソッドとシームレスに組み合わせられる汎用フレームワークである。
論文 参考訳(メタデータ) (2023-03-15T16:12:14Z) - CoDo: Contrastive Learning with Downstream Background Invariance for
Detection [10.608660802917214]
下流背景不変性(CoDo)を用いたコントラスト学習という,オブジェクトレベルの自己教師型学習手法を提案する。
プリテキストタスクは、さまざまなバックグラウンド、特に下流データセットのインスタンス位置モデリングに集中するように変換される。
MSCOCOの実験では、共通のバックボーンを持つCoDoであるResNet50-FPNが、オブジェクト検出に強力な転送学習結果をもたらすことを示した。
論文 参考訳(メタデータ) (2022-05-10T01:26:15Z) - BatchFormerV2: Exploring Sample Relationships for Dense Representation
Learning [88.82371069668147]
BatchFormerV2はより一般的なバッチトランスフォーマーモジュールである。
BatchFormerV2は、現在のDETRベースの検出方法を1.3%以上改善している。
論文 参考訳(メタデータ) (2022-04-04T05:53:42Z) - Rectifying the Shortcut Learning of Background: Shared Object
Concentration for Few-Shot Image Recognition [101.59989523028264]
Few-Shot画像分類は、大規模なデータセットから学んだ事前学習された知識を利用して、一連の下流分類タスクに取り組むことを目的としている。
本研究では,Few-Shot LearningフレームワークであるCOSOCを提案する。
論文 参考訳(メタデータ) (2021-07-16T07:46:41Z) - Towards an efficient framework for Data Extraction from Chart Images [27.114170963444074]
データマイニングシステムにおいて,データ抽出段階において最先端のコンピュータビジョン技術を採用する。
堅牢な点検出器を構築するには、特徴融合モジュールを備えた完全な畳み込みネットワークを採用する。
データ変換では,検出した要素を意味値でデータに変換する。
論文 参考訳(メタデータ) (2021-05-05T13:18:53Z) - Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。
広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
論文 参考訳(メタデータ) (2021-03-30T00:48:28Z) - Unsupervised segmentation via semantic-apparent feature fusion [21.75371777263847]
本研究では,意味親和性特徴融合(SAFF)に基づく教師なし前景セグメンテーション手法を提案する。
前景オブジェクトのキー領域はセマンティック機能によって正確に応答できる。
意味的特徴と明らかな特徴を融合させ、画像内適応的特徴量学習と画像間共通特徴学習のモジュールをカスケードすることにより、ベースラインをはるかに超える性能を達成する。
論文 参考訳(メタデータ) (2020-05-21T08:28:49Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳(メタデータ) (2020-04-14T16:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。