Fugu-MT 論文翻訳(概要): JigsawGAN: Self-supervised Learning for Solving Jigsaw Puzzles with Generative Adversarial Networks

論文の概要: JigsawGAN: Self-supervised Learning for Solving Jigsaw Puzzles with Generative Adversarial Networks

arxiv url: http://arxiv.org/abs/2101.07555v1
Date: Tue, 19 Jan 2021 10:40:38 GMT
ステータス: 処理完了
システム内更新日: 2021-03-22 11:19:57.314709
Title: JigsawGAN: Self-supervised Learning for Solving Jigsaw Puzzles with Generative Adversarial Networks
Title（参考訳）: jigsawgan: 生成的逆ネットワークを用いたジグソーパズルの自己教師付き学習
Authors: Ru Li, Shuaicheng Liu, Guangfu Wang, Guanghui Liu and Bing Zeng
Abstract要約: 本稿では,ジグソーパズルを解くためのGAN(Generative Adversarial Network)に基づく解を提案する。提案手法は,セマンティクス情報とエッジ情報を同時に利用することにより,ジグソーパズルをより効率的に解くことができる。
参考スコア（独自算出の注目度）: 31.190344964881625
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The paper proposes a solution based on Generative Adversarial Network (GAN) for solving jigsaw puzzles. The problem assumes that an image is cut into equal square pieces, and asks to recover the image according to pieces information. Conventional jigsaw solvers often determine piece relationships based on the piece boundaries, which ignore the important semantic information. In this paper, we propose JigsawGAN, a GAN-based self-supervised method for solving jigsaw puzzles with unpaired images (with no prior knowledge of the initial images). We design a multi-task pipeline that includes, (1) a classification branch to classify jigsaw permutations, and (2) a GAN branch to recover features to images with correct orders. The classification branch is constrained by the pseudo-labels generated according to the shuffled pieces. The GAN branch concentrates on the image semantic information, among which the generator produces the natural images to fool the discriminator with reassembled pieces, while the discriminator distinguishes whether a given image belongs to the synthesized or the real target manifold. These two branches are connected by a flow-based warp that is applied to warp features to correct order according to the classification results. The proposed method can solve jigsaw puzzles more efficiently by utilizing both semantic information and edge information simultaneously. Qualitative and quantitative comparisons against several leading prior methods demonstrate the superiority of our method.
Abstract（参考訳）: 本稿では,ジグソーパズルを解くためのGAN(Generative Adversarial Network)に基づく解を提案する。問題は、画像が等しい正方形に切断され、断片情報に従って画像の復元を求めることである。従来のジグソーソルバは、重要な意味情報を無視する部分境界に基づいて断片関係を決定することが多い。本稿では,未ペア画像によるジグソーパズルの解法であるJigsawGANを提案する。我々は,(1)ジグソー置換を分類する分類分岐,(2)正しい順序で画像の特徴を復元するGAN分岐を含むマルチタスクパイプラインを設計する。分類枝は、シャッフル片に応じて生成された擬似ラベルによって制約される。 GANブランチは、生成者が自然な画像を生成して再組み立てされた断片で識別器を騙す画像意味情報に集中し、一方、識別器は、所定の画像が合成された又は実際のターゲット多様体に属するか否かを識別する。これら2つの分岐は、分類結果に従って正しい順序にワープ特徴を適用するフローベースワープによって接続される。提案手法は,意味情報とエッジ情報の両方を同時に利用することで,より効率的にジグソーパズルを解くことができる。いくつかの先行手法と比較して定性的かつ定量的な比較は,本手法の優位性を示している。