論文の概要: Self-Supervised One-Shot Learning for Automatic Segmentation of StyleGAN Images

• arxiv url: http://arxiv.org/abs/2303.05639v1
• Date: Fri, 10 Mar 2023 01:04:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 16:35:41.035427
• Title: Self-Supervised One-Shot Learning for Automatic Segmentation of StyleGAN Images
• Title（参考訳）: スタイルGAN画像の自動分割のための教師付きワンショット学習
• Authors: Ankit Manerikar and Avinash C. Kak
• Abstract要約: 本稿では,StyleGANを用いて生成した合成画像のワンショットセグメンテーションのためのフレームワークを提案する。 本フレームワークは,新たな自己監督型コントラストクラスタリングアルゴリズムを用いて,合成画像のセグメント化を学習する。 また,警告検出のためのアノテーション付きバッグX線スキャンを作成するためのGANベースのフレームワークであるBagGANの実装において,提案フレームワークを使用した結果を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose in this paper a framework for automatic one-shot segmentation of synthetic images generated using StyleGANs. As to the need for `one-shot segmentation', we want the network to carry out a semantic segmentation of the images on the fly, that is, as they are being produced at inference time. The implementation of our framework is based on the observation that the multi-scale hidden features produced by a GAN during image synthesis hold useful semantic information that can be utilized for automatic segmentation. Using these features, our proposed framework learns to segment synthetic images using a novel self-supervised, contrastive clustering algorithm that projects the hidden features in the generator onto a compact feature space for per-pixel classification. This contrastive learner uses a swapped prediction loss for image segmentation that is computed using pixel-wise cluster assignments for the image and its transformed variants. Using the hidden features from an already pre-trained GAN for clustering, this leads to a much faster learning of the pixel-wise feature vectors for one-shot segmentation. We have tested our implementation on a number of standard benchmarks (CelebA, LSUN, PASCAL-Part) for object and part segmentation. The results of our experiments yield a segmentation performance that not only outperforms the semi-supervised baseline methods with an average wIoU margin of 1.02 % but also improves the inference speeds by a peak factor of 4.5. Finally, we also show the results of using the proposed framework in the implementation of BagGAN, a GAN-based framework for the production of annotated synthetic baggage X-ray scans for threat detection. This one-shot learning framework was trained and tested on the PIDRay baggage screening benchmark for 5 different threat categories to yield a segmentation performance which stands close to its baseline segmenter.
• Abstract（参考訳）: 本稿では,スタイルガンを用いた合成画像の自動ワンショットセグメンテーションの枠組みを提案する。 ワンショットセグメンテーション(one-shot segmentation)”の必要性については、ネットワークに、画像のセマンティックセグメンテーション(セマンティックセグメンテーション)をオンザフライで実行してほしいと考えています。 本フレームワークの実装は,画像合成中にganが生成するマルチスケール隠れ特徴が,自動セグメンテーションに使用できる有用な意味情報を保持しているという観測に基づく。 これらの特徴を活かして,提案手法は,ジェネレータ内の隠れた特徴をコンパクトな特徴空間に投影して画素単位の分類を行う,自己教師付きコントラストクラスタリングアルゴリズムを用いて合成画像のセグメント化を学習する。 このコントラスト学習者は、画像とその変換変種に対する画素単位のクラスタ割り当てを用いて計算される画像分割に置換された予測損失を用いる。 クラスタ化のためにすでにトレーニング済みのganの隠れた機能を使用すると、ワンショットセグメンテーションのためのピクセル単位の機能ベクトルの学習がはるかに高速になる。 我々は,多数の標準ベンチマーク(CelebA,LSUN,PASCAL-Part)でオブジェクトと部分のセグメンテーションを実装した。 実験の結果, 半教師付きベースライン法を平均wIoUマージン1.02%で上回るだけでなく, ピーク係数4.5で推論速度を向上するセグメンテーション性能が得られた。 最後に,脅威検出のためのアノテート合成手荷物x線スキャンを作成するためのganベースのフレームワークであるbagganの実装において,提案フレームワークを用いた結果を示す。 このワンショット学習フレームワークは、ベースラインセグメンタに近いセグメンテーション性能を得るために、5つの異なる脅威カテゴリに対して、PIDRayパッケージスクリーニングベンチマークでトレーニングされ、テストされた。

関連論文リスト

• Boosting Few-Shot Segmentation via Instance-Aware Data Augmentation and Local Consensus Guided Cross Attention [7.939095881813804]
  少ないショットセグメンテーションは、注釈付き画像のみを提供する新しいタスクに迅速に適応できるセグメンテーションモデルをトレーニングすることを目的としている。 本稿では,対象オブジェクトの相対的サイズに基づいて,サポートイメージを拡大するIDA戦略を提案する。 提案したIDAは,サポートセットの多様性を効果的に向上し,サポートイメージとクエリイメージ間の分散一貫性を促進する。
  論文  参考訳（メタデータ） (2024-01-18T10:29:10Z)
• Learning to Annotate Part Segmentation with Gradient Matching [58.100715754135685]
  本稿では,事前学習したGANを用いて,高品質な画像を生成することで,半教師付き部分分割タスクに対処することに焦点を当てる。 特に、アノテータ学習を学習から学習までの問題として定式化する。 提案手法は,実画像,生成された画像,さらには解析的に描画された画像を含む,幅広いラベル付き画像からアノテータを学習可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-06T01:29:22Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)
• SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes [56.387647750094466]
  Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。 先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。 このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
  論文  参考訳（メタデータ） (2021-04-19T11:21:47Z)
• Self-Guided and Cross-Guided Learning for Few-Shot Segmentation [12.899804391102435]
  単発セグメンテーションのための自己誘導学習手法を提案する。 注釈付き支持画像の初期予測を行うことにより、被覆および検出された前景領域を一次および補助支持ベクトルに符号化する。 プライマリサポートベクターと補助サポートベクターの両方を集約することで、クエリイメージ上でより良いセグメンテーション性能が得られます。
  論文  参考訳（メタデータ） (2021-03-30T07:36:41Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)
• Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
  入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。 ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
  論文  参考訳（メタデータ） (2020-11-18T08:42:32Z)
• Self-Supervised Tuning for Few-Shot Segmentation [82.32143982269892]
  Few-shotのセグメンテーションは、アノテートされたサンプルがほとんどない各画像ピクセルにカテゴリラベルを割り当てることを目的としている。 既存のメタラーニング手法では, 画像から抽出した視覚的特徴を埋め込み空間に埋め込むと, カテゴリー別識別記述子の生成に失敗する傾向にある。 本稿では,複数のエピソードにまたがる潜在特徴の分布を,自己分割方式に基づいて動的に調整する適応型フレームワークチューニングを提案する。
  論文  参考訳（メタデータ） (2020-04-12T03:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。