論文の概要: JigsawGAN: Self-supervised Learning for Solving Jigsaw Puzzles with
Generative Adversarial Networks
- arxiv url: http://arxiv.org/abs/2101.07555v1
- Date: Tue, 19 Jan 2021 10:40:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 11:19:57.314709
- Title: JigsawGAN: Self-supervised Learning for Solving Jigsaw Puzzles with
Generative Adversarial Networks
- Title（参考訳）: jigsawgan: 生成的逆ネットワークを用いたジグソーパズルの自己教師付き学習
- Authors: Ru Li, Shuaicheng Liu, Guangfu Wang, Guanghui Liu and Bing Zeng
- Abstract要約: 本稿では,ジグソーパズルを解くためのGAN(Generative Adversarial Network)に基づく解を提案する。
提案手法は,セマンティクス情報とエッジ情報を同時に利用することにより,ジグソーパズルをより効率的に解くことができる。
- 参考スコア（独自算出の注目度）: 31.190344964881625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paper proposes a solution based on Generative Adversarial Network (GAN)
for solving jigsaw puzzles. The problem assumes that an image is cut into equal
square pieces, and asks to recover the image according to pieces information.
Conventional jigsaw solvers often determine piece relationships based on the
piece boundaries, which ignore the important semantic information. In this
paper, we propose JigsawGAN, a GAN-based self-supervised method for solving
jigsaw puzzles with unpaired images (with no prior knowledge of the initial
images). We design a multi-task pipeline that includes, (1) a classification
branch to classify jigsaw permutations, and (2) a GAN branch to recover
features to images with correct orders. The classification branch is
constrained by the pseudo-labels generated according to the shuffled pieces.
The GAN branch concentrates on the image semantic information, among which the
generator produces the natural images to fool the discriminator with
reassembled pieces, while the discriminator distinguishes whether a given image
belongs to the synthesized or the real target manifold. These two branches are
connected by a flow-based warp that is applied to warp features to correct
order according to the classification results. The proposed method can solve
jigsaw puzzles more efficiently by utilizing both semantic information and edge
information simultaneously. Qualitative and quantitative comparisons against
several leading prior methods demonstrate the superiority of our method.
- Abstract（参考訳）: 本稿では,ジグソーパズルを解くためのGAN(Generative Adversarial Network)に基づく解を提案する。
問題は、画像が等しい正方形に切断され、断片情報に従って画像の復元を求めることである。
従来のジグソーソルバは、重要な意味情報を無視する部分境界に基づいて断片関係を決定することが多い。
本稿では,未ペア画像によるジグソーパズルの解法であるJigsawGANを提案する。
我々は,(1)ジグソー置換を分類する分類分岐,(2)正しい順序で画像の特徴を復元するGAN分岐を含むマルチタスクパイプラインを設計する。
分類枝は、シャッフル片に応じて生成された擬似ラベルによって制約される。
GANブランチは、生成者が自然な画像を生成して再組み立てされた断片で識別器を騙す画像意味情報に集中し、一方、識別器は、所定の画像が合成された又は実際のターゲット多様体に属するか否かを識別する。
これら2つの分岐は、分類結果に従って正しい順序にワープ特徴を適用するフローベースワープによって接続される。
提案手法は,意味情報とエッジ情報の両方を同時に利用することで,より効率的にジグソーパズルを解くことができる。
いくつかの先行手法と比較して定性的かつ定量的な比較は,本手法の優位性を示している。
関連論文リスト
- LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of
Feature Similarity [49.84167231111667]
自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。
自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。
機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
論文 参考訳（メタデータ） (2022-04-06T17:48:18Z) - Relaxation Labeling Meets GANs: Solving Jigsaw Puzzles with Missing
Borders [13.98838872235379]
我々は, Jigsaw パズルを浸食あるいは欠落した境界で解くための GAN ベースの手法である JiGAN を提案する。
提案手法は,小さなパズルの大規模なデータセットと3つの一般的なベンチマークデータセットを用いて,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2022-03-28T00:38:17Z) - Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。
この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。
これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
論文 参考訳（メタデータ） (2021-12-27T14:05:41Z) - Heterogeneous Visible-Thermal and Visible-Infrared Face Recognition
using Unit-Class Loss and Cross-Modality Discriminator [0.43748379918040853]
本稿では,クロスモーダル顔認識のためのエンドツーエンドフレームワークを提案する。
モダリティ情報を捨てつつアイデンティティ情報を保存するために,新しい単位クラス損失を提案する。
提案したネットワークは、モダリティ非依存のベクトル表現を抽出したり、テスト画像のマッチングペア分類に利用できる。
論文 参考訳（メタデータ） (2021-11-29T06:14:00Z) - Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。
画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
論文 参考訳（メタデータ） (2021-09-22T18:34:14Z) - Graph Jigsaw Learning for Cartoon Face Recognition [79.29656077338828]
畳み込みニューラルネットワーク(CNN)を用いたマンガ顔認識のための形状指向表現の学習は困難である
分類ネットワークの様々な段階においてジグソーパズルを構築し,グラフ畳み込みネットワーク(GCN)を段階的に解くグラフJigsawを提案する。
提案したグラフJigsawは、2つの人気のあるマンガの顔データセットにおいて、他の顔認識やジグソーベースの手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2021-07-14T08:01:06Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳（メタデータ） (2021-04-29T17:58:35Z) - White Box Methods for Explanations of Convolutional Neural Networks in
Image Classification Tasks [3.3959642559854357]
畳み込みニューラルネットワーク(CNN)は,画像分類作業における技術性能の状態を実証している。
ネットワークによる予測の背後にある推論を理解するために、いくつかのアプローチが提案されている。
我々は、ネットワークの内部アーキテクチャの情報を利用してその決定を説明するホワイトボックスメソッドに重点を置いている。
論文 参考訳（メタデータ） (2021-04-06T14:40:00Z) - Gigapixel Histopathological Image Analysis using Attention-based Neural
Networks [7.1715252990097325]
圧縮経路と学習経路からなるCNN構造を提案する。
本手法は,グローバル情報とローカル情報の両方を統合し,入力画像のサイズに関して柔軟であり,弱い画像レベルラベルのみを必要とする。
論文 参考訳（メタデータ） (2021-01-25T10:18:52Z) - Principled network extraction from images [0.0]
本稿では,スケーラブルで効率的な画像からネットワークトポロジを抽出する原理モデルを提案する。
我々は,網膜血管系,スライムカビ,河川網の実際の画像を用いて本モデルを検証した。
論文 参考訳（メタデータ） (2020-12-23T15:56:09Z) - Convolutional Neural Networks from Image Markers [62.997667081978825]
特徴 画像マーカーからの学習(FLIM)は、ごく少数の画像でユーザーが描画したストロークから、バックプロパゲーションのない畳み込みフィルタを推定するために最近提案されました。
本稿では、フルコネクテッド層に対してFLIMを拡張し、異なる画像分類問題について実証する。
その結果、FLIMベースの畳み込みニューラルネットワークは、バックプロパゲーションによってゼロから訓練された同じアーキテクチャを上回ります。
論文 参考訳（メタデータ） (2020-12-15T22:58:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。