論文の概要: Migrating Face Swap to Mobile Devices: A lightweight Framework and A Supervised Training Solution

• arxiv url: http://arxiv.org/abs/2204.08339v1
• Date: Wed, 13 Apr 2022 05:35:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-24 15:44:35.878963
• Title: Migrating Face Swap to Mobile Devices: A lightweight Framework and A Supervised Training Solution
• Title（参考訳）: Face Swapからモバイルデバイスへの移行 - 軽量フレームワークと教師付きトレーニングソリューション
• Authors: Haiming Yu and Hao Zhu and Xiangju Lu and Junhui Liu
• Abstract要約: MobileFSGANは、顔スワップ用の新しい軽量なGANで、競合性能を達成しつつ、はるかに少ないパラメータでモバイルデバイスで実行できる。 軽量エンコーダ・デコーダ構造は、特に画像合成タスクのために設計されており、10.2MBしかなく、モバイルデバイス上でリアルタイムに動作させることができる。
• 参考スコア（独自算出の注目度）: 7.572886749166295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing face swap methods rely heavily on large-scale networks for adequate capacity to generate visually plausible results, which inhibits its applications on resource-constraint platforms. In this work, we propose MobileFSGAN, a novel lightweight GAN for face swap that can run on mobile devices with much fewer parameters while achieving competitive performance. A lightweight encoder-decoder structure is designed especially for image synthesis tasks, which is only 10.2MB and can run on mobile devices at a real-time speed. To tackle the unstability of training such a small network, we construct the FSTriplets dataset utilizing facial attribute editing techniques. FSTriplets provides source-target-result training triplets, yielding pixel-level labels thus for the first time making the training process supervised. We also designed multi-scale gradient losses for efficient back-propagation, resulting in faster and better convergence. Experimental results show that our model reaches comparable performance towards state-of-the-art methods, while significantly reducing the number of network parameters. Codes and the dataset have been released.
• Abstract（参考訳）: 既存のフェイススワップ手法は、視覚的に妥当な結果を生成するのに十分な容量のために、大規模なネットワークに大きく依存している。 本研究では,顔交換のための軽量なGANであるMobileFSGANを提案する。 軽量エンコーダ-デコーダ構造は、特に画像合成タスク用に設計されており、わずか10.2mbで、モバイルデバイス上でリアルタイムに動作可能である。 このような小さなネットワークのトレーニングの不安定さに対処すべく,顔属性編集技術を用いたfstripletsデータセットを構築した。 FSTripletsはソースターゲットのトレーニング三つ子を提供し、ピクセルレベルのラベルを初めてトレーニングプロセスを監督する。 また,効率のよいバックプロパゲーションのために,マルチスケールの勾配損失を設計した。 実験結果から,本モデルは最先端手法に匹敵する性能を示し,ネットワークパラメータの数を著しく削減した。 コードとデータセットがリリースされた。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• SeaFormer++: Squeeze-enhanced Axial Transformer for Mobile Visual Recognition [29.522565659389183]
  本研究では,モバイル視覚認識のための圧縮強化軸変換器 (SeaFormer) を提案する。 モバイルフレンドリーなライバルとTransformerベースのライバルに勝って、パフォーマンスが良く、レイテンシも低い。
  論文  参考訳（メタデータ） (2023-01-30T18:34:16Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)
• DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two Quantization [27.231327287238102]
  本稿では,シフトネットワークの精度を大幅に向上させるDenseShiftネットワークを提案する。 様々なコンピュータビジョンと音声タスクに関する実験により、DenseShiftは既存の低ビット乗算自由ネットワークよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-08-20T15:17:40Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation [130.30465659190773]
  Generative Adversarial Networks (GAN) は画像翻訳において広く利用されているが、その高い計算とストレージコストがモバイルデバイスへの展開を妨げる。 DMADと呼ばれる新しいGAN圧縮手法を提案する。 実験の結果、DMADはCycleGANのMultiply Accumulate Operations (MAC)を13倍、Pix2Pixを4倍削減し、フルモデルに匹敵する性能を維持することができた。
  論文  参考訳（メタデータ） (2020-11-17T02:39:19Z)
• DBQ: A Differentiable Branch Quantizer for Lightweight Deep Neural Networks [4.358626952482686]
  本稿では, 効率的な3成分系ドット製品エンジンにシームレスにマッピングできる新しい非一様量子化器を提案する。 提案する量子化器 (DBQ) は,MobileNetV1, MobileNetV2, ShuffleNetV2 などの軽量ネットワークを積極的に定量化するという,突進的な課題に対処する。 DBQは、トレーニングオーバーヘッドを最小限に抑えながら、最先端の成果を達成し、最適な(最適に最適化された)精度/複雑さのトレードオフを提供する。
  論文  参考訳（メタデータ） (2020-07-19T23:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。