論文の概要: Face to Cartoon Incremental Super-Resolution using Knowledge
Distillation
- arxiv url: http://arxiv.org/abs/2401.15366v1
- Date: Sat, 27 Jan 2024 10:06:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 18:39:06.993805
- Title: Face to Cartoon Incremental Super-Resolution using Knowledge
Distillation
- Title(参考訳): 知識蒸留による漫画インクリメンタル・スーパーレゾリューション
- Authors: Trinetra Devkatte, Shiv Ram Dubey, Satish Kumar Singh, Abdenour Hadid
- Abstract要約: 本稿では,顔と漫画のための知識蒸留(ISR-KD)を備えたGANを用いたインクリメンタル超解像を提案する。
これを実現するため、GANベースの超解像ネットワークがCelebAデータセットで事前トレーニングされ、iCartoonFaceデータセットで漸進的にトレーニングされた。
- 参考スコア(独自算出の注目度): 17.135856813499892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial super-resolution/hallucination is an important area of research that
seeks to enhance low-resolution facial images for a variety of applications.
While Generative Adversarial Networks (GANs) have shown promise in this area,
their ability to adapt to new, unseen data remains a challenge. This paper
addresses this problem by proposing an incremental super-resolution using GANs
with knowledge distillation (ISR-KD) for face to cartoon. Previous research in
this area has not investigated incremental learning, which is critical for
real-world applications where new data is continually being generated. The
proposed ISR-KD aims to develop a novel unified framework for facial
super-resolution that can handle different settings, including different types
of faces such as cartoon face and various levels of detail. To achieve this, a
GAN-based super-resolution network was pre-trained on the CelebA dataset and
then incrementally trained on the iCartoonFace dataset, using knowledge
distillation to retain performance on the CelebA test set while improving the
performance on iCartoonFace test set. Our experiments demonstrate the
effectiveness of knowledge distillation in incrementally adding capability to
the model for cartoon face super-resolution while retaining the learned
knowledge for facial hallucination tasks in GANs.
- Abstract(参考訳): 顔の超解像/幻覚は、様々な用途で低解像度の顔画像を強化する研究の重要領域である。
Generative Adversarial Networks(GANs)はこの分野で有望だが、新しい、目に見えないデータに適応する能力は依然として課題である。
本稿では,gans with knowledge distillation (isr-kd) を用いたマンガ対効果の高分解能化を提案する。
この分野におけるこれまでの研究は、新たなデータが継続的に生成される現実世界のアプリケーションにとって重要な、インクリメンタルラーニングを調査していない。
提案したISR-KDは,マンガの顔や様々なレベルのディテールなど,さまざまな設定を処理できる,顔超解像のための新しい統合フレームワークを開発することを目的としている。
これを実現するため、GANベースの超解像ネットワークをCelebAデータセット上で事前トレーニングし、iCartoonFaceデータセット上で漸進的にトレーニングし、知識蒸留を用いてCelebAテストセットのパフォーマンスを維持しながら、iCartoonFaceテストセットのパフォーマンスを改善した。
本実験は,gansにおける顔幻覚課題の学習知識を保ちつつ,マンガ顔超解像モデルに段階的な付加能力を有する知識蒸留の有効性を実証する。
関連論文リスト
- Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image [87.00660347447494]
ニューラルサーフェス・コンストラクション(NSR)の最近の進歩は、ボリュームレンダリングと組み合わせることで、マルチビュー・コンストラクションを著しく改善している。
本稿では,多種多様な視覚的タスクから価値ある特徴を活用すべく,特徴レベルの一貫した損失について検討する。
DTU と EPFL を用いて解析した結果,画像マッチングと多視点ステレオデータセットによる特徴が,他のプリテキストタスクよりも優れていたことが判明した。
論文 参考訳(メタデータ) (2024-08-04T16:09:46Z) - W-Net: A Facial Feature-Guided Face Super-Resolution Network [8.037821981254389]
Face Super-Resolutionは、高解像度 (HR) の顔画像を低解像度 (LR) の顔画像から復元することを目的としている。
既存手法は, 再建効率が低く, 事前情報の利用が不十分であるため, 理想的ではない。
本稿では,この課題に対処するため,W-Netと呼ばれる新しいネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-06-02T09:05:40Z) - Fiducial Focus Augmentation for Facial Landmark Detection [4.433764381081446]
本稿では,モデルによる顔構造理解を高めるために,新しい画像強調手法を提案する。
我々は,Deep Canonical correlation Analysis (DCCA) に基づく損失を考慮した,シームズアーキテクチャに基づくトレーニング機構を採用している。
提案手法は,様々なベンチマークデータセットにおいて,最先端のアプローチよりも優れている。
論文 参考訳(メタデータ) (2024-02-23T01:34:00Z) - EfficientSRFace: An Efficient Network with Super-Resolution Enhancement
for Accurate Face Detection [18.977044046941813]
顔検出では、密集した顔予測タスクにおいて、人間の集団の多数の小さな顔のような低解像度の顔が一般的である。
我々は,特徴レベルの超解像再構成ネットワークを導入し,効率的なSRFaceと呼ばれる検出器を開発した。
このモジュールはトレーニングプロセスにおいて補助的な役割を担い、推論時間を増やすことなく推論中に取り除くことができる。
論文 参考訳(メタデータ) (2023-06-04T06:49:44Z) - Enhancing Face Recognition with Latent Space Data Augmentation and
Facial Posture Reconstruction [8.493314424950599]
顔データセットを拡張するためのFRA(Face Representation Augmentation)というアプローチを提案する。
FRAは、顔表現学習アルゴリズムによって生成された顔埋め込みの操作に焦点を移す最初の方法である。
提案手法は,MagFace,ArcFace,CosFaceの基本モデルと比較して,識別精度を9.52 %,10.04 %,16.60 %改善する。
論文 参考訳(メタデータ) (2023-01-27T20:54:58Z) - Face Super-Resolution with Progressive Embedding of Multi-scale Face
Priors [4.649637261351803]
フェース超解像のための新しい再帰畳み込みネットワークベースのフレームワークを提案する。
我々は、繰り返しネットワークの中間出力をフル活用し、ランドマーク情報と顔行動単位(AU)情報を抽出する。
提案手法は,画像の画質と顔の細部復元において,最先端のFSR法よりも優れていた。
論文 参考訳(メタデータ) (2022-10-12T08:16:52Z) - LR-to-HR Face Hallucination with an Adversarial Progressive
Attribute-Induced Network [67.64536397027229]
顔の超解像は難しい問題であり、非常に不適切な問題である。
顔の特徴を取り入れたエンドツーエンドのプログレッシブ・ラーニング・フレームワークを提案する。
提案手法は,他の最先端アプローチよりも良好な顔幻覚像が得られることを示す。
論文 参考訳(メタデータ) (2021-09-29T19:50:45Z) - TANet: A new Paradigm for Global Face Super-resolution via
Transformer-CNN Aggregation Network [72.41798177302175]
本稿では, 顔構造特徴の表現能力を完全に探求する自己認識機構(すなわち Transformer のコア)に基づく新しいパラダイムを提案する。
具体的には、2つの経路からなるTransformer-CNNアグリゲーションネットワーク(TANet)を設計する。
上記の2つの経路から特徴を集約することにより、グローバルな顔の構造の整合性と局所的な顔のディテール復元の忠実度を同時に強化する。
論文 参考訳(メタデータ) (2021-09-16T18:15:07Z) - Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。
このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。
リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。
イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
論文 参考訳(メタデータ) (2021-03-29T02:58:27Z) - Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。
我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。
提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
論文 参考訳(メタデータ) (2020-07-18T15:26:07Z) - DotFAN: A Domain-transferred Face Augmentation Network for Pose and
Illumination Invariant Face Recognition [94.96686189033869]
本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。
DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。
実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
論文 参考訳(メタデータ) (2020-02-23T08:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。