論文の概要: CFRNet: Cycle-Consistent Fixed-Point Training for Real-Time Blind Face Restoration on Consumer Embedded NPUs
- arxiv url: http://arxiv.org/abs/2606.06850v1
- Date: Fri, 05 Jun 2026 02:48:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.53115
- Title: CFRNet: Cycle-Consistent Fixed-Point Training for Real-Time Blind Face Restoration on Consumer Embedded NPUs
- Title(参考訳): CFRNet:消費者組込みNPUにおけるリアルタイムブラインド顔修復のためのサイクル一貫性固定点トレーニング
- Authors: Fuchen Li, Xinyang Wang, Yahui Zhang, Yuhan Chen, Jiahong Guo, Zhuohan Qin, Wenbo Ma,
- Abstract要約: デバイス上での使用のための畳み込みリストアであるCFRNetを$256times256$で提示する。
ネットワークを1回のパスでトレーニングし、数回手動で実行します。
CFRNetは最高の知覚スコア(LPIPS 0.250は3サイクルで、1サイクルより31%低い)と2サイクルで最高のPSNRとSSIMに達する。
- 参考スコア(独自算出の注目度): 5.39140515661076
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Blind face restoration on consumer devices has to balance image quality against speed and memory. Strong methods such as GFPGAN and CodeFormer give good perceptual quality, but they rely on large pretrained generative priors and on operators such as attention, codebook lookup, and style modulation that are hard to compile and quantize on the small neural processing units (NPUs) used in consumer hardware. Small convolutional restorers run fast enough, but they tend to over-smooth and to leave artifacts around the eyes, nose, and mouth. We present CFRNet, a 2.0,M-parameter ResNet-style restorer for on-device use at $256\times256$, the common face-crop size on consumer NPUs. The main idea is Cycle-Consistent Fixed-Point Training (CCFP). Instead of training the network for one pass and then running it several times by hand, we train it to act as a fixed-point operator, so that applying it again to a restored face does not change the face. CCFP uses three training losses, namely progressive multi-cycle supervision, an idempotence loss, and a re-degradation cycle loss, and it adds no cost at inference. To compare fairly under our deployment limits, we retrain all baselines from scratch at the same $256\times256$ resolution. On a 300-image test set, CFRNet reaches the best perceptual score (LPIPS 0.250 at three cycles, which is 31% lower than one cycle) and also the best PSNR and SSIM at two cycles. It runs in about 23,ms per cycle in INT8 on a HiSilicon Hi3402 NPU, while the same baselines cannot be compiled to that chip. The cycle count $k$ acts as a simple quality knob that needs no retraining: PSNR is best at $k\!=\!2$ and LPIPS keeps improving up to $k\!=\!3$. We further show that the same idea works with a plain CNN that is even easier to deploy, and we run the model in real time on an in-car driver-monitoring board.
- Abstract(参考訳): 消費者デバイスにおけるブラインド顔復元は、画像品質と速度とメモリのバランスをとる必要がある。
GFPGANやCodeFormerのような強力な手法は知覚品質が良いが、それらは大きな事前訓練された生成前と、消費者ハードウェアで使用される小さなニューラル処理ユニット(NPU)のコンパイルと定量化が難しい注意、コードブックのルックアップ、スタイル変調といった演算子に依存している。
小さな畳み込み修復装置は十分に速く走るが、過度に滑らかになり、目や鼻、口に人工物を残す傾向がある。
CFRNetは、デバイス上で使用するための2.0,MパラメータResNetスタイルのレコーダで、256\times256$で提供します。
主な考え方はCCFP(Cycle-Consistent Fixed-Point Training)である。
ネットワークを1回のパスでトレーニングし、数回手動で実行する代わりに、固定ポイント演算子として動作するようにトレーニングします。
CCFPは3つのトレーニング損失、すなわちプログレッシブ・マルチサイクルの監督、イデオロジェンス・ロス、そして再劣化サイクルの損失を使用する。
デプロイメント制限をかなり下回るように、同じ256\times256$の解像度で、すべてのベースラインをゼロからトレーニングします。
300イメージのテストセットでは、CFRNetは最高の知覚スコア(LPIPS 0.250は3サイクルで、1サイクルより31%低い)と2サイクルで最高のPSNRとSSIMに達する。
これはHiSilicon Hi3402 NPU上でINT8の1サイクルあたり約23msで動作するが、同じベースラインをそのチップにコンパイルすることはできない。
サイクルカウント$k$は、再トレーニングを必要としない単純なクオリティノブとして機能する。
=\!
2ドルとLPIPSは、最高$k\!
=\!
3ドル。
さらに、同じアイデアが、より簡単にデプロイできるプレーンなCNNで機能することを示し、車内ドライバ監視ボードでモデルをリアルタイムで実行しています。
関連論文リスト
- Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。
偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。
本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
論文 参考訳(メタデータ) (2025-07-02T08:29:18Z) - PrivCirNet: Efficient Private Inference via Block Circulant Transformation [11.859511840002916]
ホモモルフィック暗号化(HE)ベースのディープニューラルネットワーク(DNN)推論は、データとモデルのプライバシを保護するが、大きな計算オーバーヘッドに悩まされる。
ブロック循環変換に基づくプロトコル/ネットワーク協調最適化フレームワークであるPrivCirNetを提案する。
PrivCirNetはブロック循環変換と完全に互換性のあるHE符号化アルゴリズムをカスタマイズする。
論文 参考訳(メタデータ) (2024-05-23T13:44:48Z) - Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。
ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。
CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
論文 参考訳(メタデータ) (2023-04-09T04:36:24Z) - Simple Baselines for Image Restoration [79.48718779396971]
本稿では,SOTA(State-of-the-art)法を超越した,計算効率の高い単純なベースラインを提案する。
我々は、ベースラインからActivation Free Network、すなわちNAFNetを導出する。
SOTAの結果は、GoProの33.69dB PSNR(画像劣化)、計算コストのわずか8.4%のSOTA 0.38dB、SIDDの40.30dB PSNR(画像劣化)、計算コストの半分未満のSOTA 0.28dBといった、様々な挑戦的なベンチマークで達成されている。
論文 参考訳(メタデータ) (2022-04-10T12:48:38Z) - Structured Pruning is All You Need for Pruning CNNs at Initialization [38.88730369884401]
プルーニングは畳み込みニューラルネットワーク(CNN)のモデルサイズと計算コストを削減する一般的な手法である
ハードウェア効率の良いモデル圧縮方式であるPreCroppingを提案する。
重み付けと比較して, 提案手法は, 精度を犠牲にすることなく, 記憶と計算の両面において規則的で密度が高い。
論文 参考訳(メタデータ) (2022-03-04T19:54:31Z) - Improving Network Slimming with Nonconvex Regularization [8.017631543721684]
畳み込みニューラルネットワーク(CNN)は、様々なコンピュータビジョンタスクの強力なモデルとなるために開発された。
最先端のCNNの多くは直接デプロイすることはできない。
CNNを圧縮する簡単な方法が提案されている。
論文 参考訳(メタデータ) (2020-10-03T01:04:02Z) - ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。
記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。
私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
論文 参考訳(メタデータ) (2020-07-07T07:56:45Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳(メタデータ) (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。