論文の概要、ライセンス

# (参考訳) 創発的敵網の知的特性をアンビジティ攻撃から保護する [全文訳有]

Protecting Intellectual Property of Generative Adversarial Networks from Ambiguity Attack ( http://arxiv.org/abs/2102.04362v1 )

ライセンス: CC BY 4.0
Ding Sheng Ong, Chee Seng Chan, Kam Woh Ng, Lixin Fan, Qiang Yang(参考訳) 機械学習・アズ・ア・サービス(MLaaS)は、ディープラーニングモデルを利用して収益を生み出す実行可能なビジネスとして登場して以来、知的財産権(IPR)は、これらのディープラーニングモデルを簡単に複製、共有、再配布できるため、大きな関心事となっている。 我々の知る限り、フォトリアリスティックな画像を作成するために広く使われているGAN(Generative Adversarial Networks)は、畳み込みニューラルネットワーク(CNN)の先駆的なIPR保護手法が存在するにもかかわらず、完全に保護されていない。 そこで本稿では, ブラックボックスとホワイトボックスの両方において, IPR保護をGANに強制するための完全な保護フレームワークを提案する。 実験により,提案手法は元のGANの性能を損なわないことを示した。 画像生成、画像の超解像度、スタイル転送)と同時に、埋め込みウォーターマークに対する削除と曖昧性攻撃の両方に耐えることができる。

Ever since Machine Learning as a Service (MLaaS) emerges as a viable business that utilizes deep learning models to generate lucrative revenue, Intellectual Property Right (IPR) has become a major concern because these deep learning models can easily be replicated, shared, and re-distributed by any unauthorized third parties. To the best of our knowledge, one of the prominent deep learning models - Generative Adversarial Networks (GANs) which has been widely used to create photorealistic image are totally unprotected despite the existence of pioneering IPR protection methodology for Convolutional Neural Networks (CNNs). This paper therefore presents a complete protection framework in both black-box and white-box settings to enforce IPR protection on GANs. Empirically, we show that the proposed method does not compromise the original GANs performance (i.e. image generation, image super-resolution, style transfer), and at the same time, it is able to withstand both removal and ambiguity attacks against embedded watermarks.
公開日: Mon, 8 Feb 2021 17:12:20 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Protecting Intellectual Property of Generative Adversarial Networks 生成型adversarial networkの知的財産保護 0.83
from Ambiguity Attacks Ambiguity Attacks から 0.74
Ding Sheng Ong1 Ding Sheng Ong1 0.94
Chee Seng Chan1*, Chee Seng Chan1*。 0.93
Kam Woh Ng2 Kam Woh Ng2 0.94
Lixin Fan2 Qiang Yang3 リキシンファン2 Qiang Yang3 0.68
1 University of Malaya 2 WeBank 3 Hong Kong University of Science and Technology 1 マラヤ大学 2 WeBank 3 香港科学技術大学。 0.59
1 2 0 2 b e F 8 1 2 0 2 b e F 8 0.85
] R C . ] R C。 0.78
s c [ 1 v 2 6 3 4 0 sc [ 1 v 2 6 3 4 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Abstract Ever since Machine Learning as a Service (MLaaS) emerges as a viable business that utilizes deep learning models to generate lucrative revenue, Intellectual Property Right (IPR) has become a major concern because these deep learning models can easily be replicated, shared, and re-distributed by any unauthorized third parties. 概要 機械学習・アズ・ア・サービス(MLaaS)は、ディープラーニングモデルを利用して収益を生み出す実行可能なビジネスとして登場して以来、知的財産権(IPR)は、これらのディープラーニングモデルを簡単に複製、共有、再配布できるため、大きな関心事となっている。 0.53
To the best of our knowledge, one of the prominent deep learning models - Generative Adversarial Networks (GANs) which has been widely used to create photorealistic image are totally unprotected despite the existence of pioneering IPR protection methodology for Convolutional Neural Networks (CNNs). 我々の知る限り、フォトリアリスティックな画像を作成するために広く使われているGAN(Generative Adversarial Networks)は、畳み込みニューラルネットワーク(CNN)の先駆的なIPR保護手法が存在するにもかかわらず、完全に保護されていない。 0.73
This paper therefore presents a complete protection framework in both black-box and white-box settings to enforce IPR protection on GANs. そこで本稿では, ブラックボックスとホワイトボックスの両方において, IPR保護をGANに強制するための完全な保護フレームワークを提案する。 0.60
Empirically, we show that the proposed method does not compromise the original GANs performance (i.e. 実験により,提案手法は元のGANの性能を損なわないことを示した。 0.67
image generation, image superresolution, style transfer), and at the same time, it is able to withstand both removal and ambiguity attacks against embedded watermarks. 画像生成、画像の超解像、スタイル転送)と同時に、埋め込みウォーターマークに対する削除と曖昧性攻撃の両方に耐えることができる。 0.72
1. Introduction He who receives an idea from me, receives instruction himself without lessening mine; as he who lights his taper at mine, receives light without darkening me. 1. はじめに 彼は私からアイデアを受け取り、私の考えを和らげることなく自分自身の教えを受け取り、私のためにテーパーを照らす者は私を暗くすることなく光を受ける。 0.67
- Thomas Jefferson -トーマス・ジェファーソン 0.67
Intellectual Property (IP) refers to the protection of creations of the mind, which have both a moral and commercial value. 知的財産(IP)は、道徳的および商業的価値の両方を有する心の創造の保護を指します。 0.70
IP is protected under the law framework in the form of, e.g. IPは、例えば、法律の枠組みの下で保護されている。 0.74
patents, copyright, and trademarks, which enable inventors to earn recognition or financial benefit from their inventions. 発明者がその発明から認識又は金銭的利益を得ることを可能にする特許、著作権及び商標。 0.73
Ever since Machine Learning as a Service emerges as a viable business which utilizes deep learning (DL) models to generate revenue, different effective methods to prove the ownership of DL models have been studied and demonstrated [1–5]. サービスとしての機械学習が、ディープラーニング(dl)モデルを利用して収益を生み出す実行可能なビジネスとして登場して以来、dlモデルの所有権を証明するためのさまざまな効果的な方法が研究され、実証されてきた [1–5]。 0.64
The application domains demon- アプリケーションドメインのデモン 0.62
*Corresponding author, e-mail: cs.chan@um.edu.my ※対応作家、メール: cs.chan@um.edu.my 0.57
Figure 1: Overview of our proposed GANs protection framework in black-box setting. 図1:ブラックボックス設定で提案されたGANs保護フレームワークの概要。 0.83
The idea is when a trigger, xw is acted as an input, a watermarked image (e.g. このアイデアは、トリガー xw を入力として、透かし画像(例)として振る舞うときである。 0.71
with a hexagon as the watermark) will be synthesized to claim the ownership. ウォーターマークとして六角形で)その所有権を主張するために合成される。 0.61
Black area in the trigger noise (f : z → xw) indicates masked values (see Sec. トリガーノイズ(f : z → xw)の黒領域はマスク値を示している(sec参照)。 0.85
3.1.1, Eq. 1). 3.1.1、Eq。 1). 0.72
strated with these pioneering works, however, are invariably limited to Convolutional Nerual Networks (CNNs) for classification tasks. しかし、これらの先駆的な研究に追従され、分類タスクは畳み込み神経ネットワーク(CNN)に限られる。 0.63
Based on our knowledge, the protection for another prominent DL models, i.e. 我々の知識に基づいて、別の著名なDLモデル、すなわち、保護する。 0.75
Generative Adversarial Networks (GANs) [6] that create plausible realistic photographs is missing all together and therefore urgent needed. 実用可能なリアルな写真を作成するジェネレーティブ・アドバイサル・ネットワーク(GAN) [6] は、すべて欠落しており、緊急に必要なものである。 0.62
Generally, a common approach to deep neural network IP protection is based on digital watermarks embedding methods which can be categorized into two schools: i) the black-box trigger-set based solutions [2, 4]; and ii) the white-box feature-based methods [1, 7, 8]. 一般に、ディープニューラルネットワークIP保護に対する一般的なアプローチは、デジタル透かし埋め込み方法に基づいており、これは、i)ブラックボックストリガーセットベースのソリューション[2, 4]、ii)ホワイトボックス機能ベースの方法[1, 7, 8]の2つの学校に分類することができる。 0.78
The principle of digital watermarking is to embed an identification information (i.e. デジタル透かしの原理は、識別情報(すなわち)を埋め込むことである。 0.79
a digital watermark) into the network parameters without affecting the performances of original DL models. デジタル透かし)元のDLモデルのパフォーマンスに影響を与えることなく、ネットワークパラメータに。 0.83
In the former, the watermark is embedded in the input-output behavior of the model. 前者では、ウォーターマークはモデルの入出力動作に埋め込まれる。 0.61
The set of input used to trigger that behavior is called trigger set. その動作をトリガーするために使われる入力セットはトリガーセットと呼ばれる。 0.74
The non-triviality of ownership of a watermarked model is constructed on the extremely small probability for any other model to exhibit the same behavior. 透かし付きモデルの所有の非自明性は、他のモデルが同じ振る舞いを示す非常に小さな確率で構築される。 0.71
In the latter, the watermark is embedded in the static content of CNNs (i.e. 後者では、透かしはCNNの静的コンテンツ(すなわち)に埋め込まれている。 0.67
weight matrices) with a transformation matrix. 重量行列) 変換行列を持つ。 0.62
The ownership is verified by the de- 所有権は,de-によって検証される 0.50
1 GenerativeModelGener ativeModelNoise, z~ N(0,1)Images, Ie.g. 1 GenerativeModelGener ativeModelNoise, z~ N(0,1)Images, Ie.g 0.69
LR imageTriggernoise, ( f : z àxw ), where c≠0Triggerimage, ( h: I àxw )NormalProposedImage GenerationSuper-reso lutionStyle transferImage GenerationSuper-reso lutionStyle transfer LR imageTriggernoise, (f : z àxw ) where c'0Triggerimage, (h: I àxw )NormalProposed Image Generation Super- resolutionStyle transfer Image Generation Super- resolutionStyle transfer 0.77
英語(論文から抽出)日本語訳スコア
Trained Model DCGAN with X and b DCGAN with X(cid:48) and b(cid:48) SRGAN with X and b SRGAN with X(cid:48) and b(cid:48) Xとbの訓練モデルDCGANとX(cid:48)とb(cid:48)のSRGANとXとbのSRGANとX(cid:48)とb(cid:48) 0.84
BER 0.00 0.00 0.00 0.00 ber 0.00 0.00 0.00 0.00 0.48
Table 1: Top row - Bit-error rate (BER) of the trained model using Uchida et al. 表1: top row - bit-error rate (ber) of the training model using uchida et al。 0.78
method [1]. method [1] 0.64
Bottom row - BER of the model using counterfeit watermark, b(cid:48) and optimized transformation matrix, X(cid:48). bottom row - counterfeit watermark, b(cid:48)およびoptimized transformation matrix, x(cid:48)を用いたモデルのber。 0.89
DCGAN is trained on CIFAR10 dataset while SRGAN is trained on DIV2K dataset. DCGANはCIFAR10データセットでトレーニングされ、SRGANはDIV2Kデータセットでトレーニングされます。 0.52
tection of the embedded watermarks. 埋め込まれた透かしのtection。 0.71
For the verification process, a suspicious online model will be first remotely queried through API calls using a specific input keys that were initially selected to trigger the watermark information. 検証プロセスでは、不審なオンラインモデルがまず、透かし情報をトリガーするために最初に選択された特定の入力キーを使用して、APIコールを通じてリモートでクエリされる。 0.66
As such, this is a black-box verification where a final model prediction (e.g. したがって、これは最終的なモデル予測(例えば、ブラックボックス検証である。 0.80
image classification results) is obtained. 画像分類結果)が得られる。 0.83
This initial step is usually perform to collect evidence from everywhere so that an owner can identifies a suspected party who used (i.e. この最初のステップは通常、所有者が被疑者(すなわち使用者)を特定できるように、至る所から証拠を集めるために実行される。 0.66
infringed) his/her models illegally. モデルを違法に侵害する。 0.63
Once the owner has sufficient evidence, a second verification process which is to extract watermark from the suspected model and compare if the watermark is originated from the owner. 所有者が十分な証拠を持っていると、疑わしいモデルから透かしを抽出し、透かしが所有者に由来するかどうかを比較する第2の検証プロセス。 0.64
This process is a white-box verification, which means the owner needs to have to access the model physically, and usually this second step is gone through the law enforcement. このプロセスは、ホワイトボックスの検証であり、つまり、所有者は物理的にモデルにアクセスする必要があり、通常この2番目のステップは法執行機関を通過します。 0.69
1.1. Problem Statement Literally, both black-box and white-box schemes have been successfully demonstrated for CNNs [1–5], however it remains an open question to apply these protection mechanisms to important GANs variants (see [6] for a survey). 1.1. 問題声明 ブラックボックスとホワイトボックスの両方のスキームがCNN [1-5] で実証されているが、これらの保護機構を重要なGANの変種に適用することは未解決の問題である(調査の [6] を参照)。 0.69
We believe, intuitively, the lack of protection might be i) partially ascribed to the large variety of GANs application domains, for which how to embed watermarks through appropriate regularization terms is challenging, and ii) directly applying the popular CNN-based watermarking approach (i.e. 直観的には、保護の欠如は、i) 様々なgansアプリケーションドメインに部分的に記述されており、適切な正規化条件でウォーターマークを埋め込むことは困難であり、ii) 人気のあるcnnベースのウォーターマーキングアプローチ(すなわち、)を直接適用すること。 0.68
Uchida et al. [1]) on GANs has limitation in ambiguity attack as shown in Table 1. 内田ら。 GAN 上の [1]) は表1に示すように曖昧性の攻撃に制限がある。 0.48
It is shown that the ownership is in doubt as indicated by the BER results1 (i.e. BERの結果1(すなわち)で示されるように、所有権は疑わしいことが示されている。 0.68
both the original b and forged b(cid:48) watermarks are detected). 元のbと偽造されたb(cid:48)の透かしが検出される。 0.67
1.2. Contributions Thus, we are motivated to present a complete IP protection framework for GANs as illustrated in Fig. 1.2. 貢献 したがって、図に示すように、GANのための完全なIP保護フレームワークを提示する動機があります。 0.66
1. The contributions are twofold: i) we put forth a general IPR protection formulation with a novel regularization term Lw (Eq. 1. コントリビューションは2つある: i) 新しい正規化項 Lw (Eq) で一般的な IPR 保護の定式化を行う。 0.79
3) that can be generalized to all GANs variants; and ii) we propose a novel and complete ownership verification 3)すべてのGANの変種に一般化できるもの,2)新規かつ完全な所有権検証を提案する。 0.82
1In general, bit-error rate (BER) measures how much the watermark is deviated. 1 一般に、ビットエラーレート(ber)は、ウォーターマークがどの程度ずれているかを測定する。 0.61
BER=0 implies that the watermark is exactly the same as to original, so ownership is claimed. BER=0 は、透かしが元のものと全く同じであることを意味するので、所有権が主張される。 0.59
method for different GANs variants (i.e. 異なるGANの変種(すなわち)のメソッド 0.78
DCGAN, SRGAN and CycleGAN). DCGAN、SRGANおよびCycleGAN)。 0.63
Extensive experiments show that ownership verification in both white and black box settings are effective without compromising performances of the original tasks (see Table 4, 5, 6 and Fig. 広範な実験では、ホワイトボックスとブラックボックスの両方の設定における所有権検証は、元のタスクのパフォーマンスを損なうことなく有効です(表4、5、6および図を参照)。 0.62
7). At the same time, we tested the proposed method in both removal and ambiguity attacks scenario (see Table 8-9 and Fig. 7). 同時に,削除と曖昧性攻撃の両シナリオで提案手法を検証した(表8-9と図9参照)。 0.86
8-9). 2. Related Work 8-9). 2. 関連作品 0.77
Conventionally, digital watermarks were extensively used in protecting the ownership of multimedia contents, including images [9, 10], videos [11, 12], audio [13–15], or functional designs [16]. 従来,デジタル透かしは画像[9,10],ビデオ[11,12],オーディオ[13~15],機能設計[16]など,マルチメディアコンテンツの所有権を保護するために広く用いられてきた。 0.77
The first effort that propose to use digital watermarking technology in CNNs was a white-box protection by Uchida et al. CNNでデジタル透かし技術を使うことを提案する最初の試みは、内田らによるホワイトボックス保護でした。 0.73
[1], who had successfully embedded watermarks into CNNs without impairing the performance of the host network. [1]) ホストネットワークの性能を損なうことなくcnnに透かしを埋め込むことに成功した。 0.67
It was shown that the ownership of network models were robustly verified against a variety of removal attacks including model fine-tuning and pruning. ネットワークモデルの所有権は,モデルの微調整や刈り取りなど,さまざまな除去攻撃に対して堅牢に検証された。 0.76
However, Uchida et al. しかし、内田らはそうである。 0.35
[1] method was limited in the sense that one has to access all the network weights in question to extract the embedded watermarks. [1]法は, 組込み透かしを抽出するために, ネットワークの重みに全てアクセスしなければならないという意味で制限された。 0.70
Therefore, [3] proposed to embed watermarks in the classification labels of adversarial examples, so that the watermarks can be extracted remotely through a service API without the need to access the network internal weights parameters. そのため,[3]では,ネットワーク内部の重みパラメータにアクセスする必要なく,サービスAPIを通じて透かしをリモート抽出できるように,逆例の分類ラベルに透かしを埋め込む方法を提案している。 0.80
Later, [4] proved that embedding watermarks in the networks’ (classification) outputs is actually a designed backdooring and provided theoretical analysis of performances under various conditions. その後、[4]は、ネットワークの(分類)出力に透かしを埋め込むことは、実際には設計されたバックドアであり、様々な条件下でのパフォーマンスに関する理論的分析を提供することを証明した。
訳抜け防止モード: 後に[4]は ネットワークの’(分類)出力に透かしを埋め込む 実際に設計されたバックドアであり、様々な条件下でのパフォーマンスの理論的な分析を提供する。
0.68
Also in both black box and white box settings, [7, 8, 17] demonstrated how to embed watermarks (or fingerprints) that are robust to watermark overwriting, model fine-tuning and pruning. また、ブラックボックスとホワイトボックスの設定の両方で、[7, 8, 17]は、透かしのオーバーライトに堅牢な透かし(または指紋)を埋め込む方法を示し、微調整とプルーニングをモデル化した。 0.67
Noticeably, a wide variety of deep architectures such as Wide Residual Networks (WRNs) and CNNs were investigated. 特にWRN(Wide Residual Networks)やCNN(CNN)など、さまざまな深いアーキテクチャが調査された。 0.71
[2] proposed to use three types of watermarks (i.e. [2]は3種類の透かしを使うことを提案した。 0.68
content, unrelated and noise) and demonstrated their performances with MNIST and CIFAR10. Content, unrelated and noise) と MNIST と CIFAR10 でパフォーマンスを実証した。 0.82
Recently, [5, 18] proposed passport-based verification schemes to improve robustness against ambiguity attacks. 最近,[5,18]は,曖昧性攻撃に対するロバスト性を改善するためのパスポートベースの検証スキームを提案した。 0.59
However, one must note that all aforementioned existing work are invariably demonstrated to protect CNN only. しかし、前述のすべての既存の作業がCNNのみを保護するために必ず実証されていることに注意する必要がある。 0.53
Although adversarial examples have been used as watermarks e.g. 逆の例は透かしとして使われてきたが、例えば。 0.52
in [3], based on our knowledge, it is not found any previous work that aim to provide IP protection for GANs. 3 では、我々の知識に基づいて、GAN に対する IP 保護の提供を目的とした以前の作業は見つからない。 0.75
The lack of protection might be partially ascribed to the large variety of GANs application domains, for which how to embed watermarks through appropriate regularization terms is challenging and remains an open question. 保護の欠如は、適切な正規化条件を通じて透かしを埋め込む方法が困難であり、依然としてオープンな問題である、さまざまなGANアプリケーションドメインに部分的に当てはまる可能性がある。 0.65
For instance, the generic watermarked framework proposed by Uchida et al. 例えば、uchidaらによって提案された一般的な透かしフレームワーク。 0.57
[1] for CNNs could not be applied to GANs due to a major different in the input and output of GANs against the CNNs. CNNの[1]は、CNNに対するGANの入力と出力に大きな違いがあるため、GANに適用できませんでした。 0.75
Specifically, the input source for GANs can be ei- 具体的には、gansの入力源はei- 0.64
2 2 0.85
英語(論文から抽出)日本語訳スコア
ther a latent vector z or image(s), I rather than just image(s) in CNN; while the output of GANs is a synthesis image(s) instead of a classification label. ther a latent vector z or image(s) i は cnn の image(s) ではなく、gans の出力は分類ラベルではなく合成画像(s)である。 0.65
Nonetheless, our preliminary results (Table 1) and Fan et al. それでも,予備結果(表1)とFan et al。 0.71
[18] disclosed that [1] is vulnerable against ambiguity attacks. 18]は、[1]が曖昧性攻撃に対して脆弱であることを明かした。 0.60
Last but not least, one must differentiate a plethora of neural network based watermarking methods, which aim to embed watermarks or hide information into digital media (e.g. 最後に、多くのニューラルネットワークベースの透かし手法を区別する必要があります。これは、透かしを埋め込んだり、情報をデジタルメディアに隠すことを目的としています(例)。
訳抜け防止モード: 最後に、ニューラルネットワークベースの透かし方法の多くを区別する必要があります。 ウォーターマークを埋め込むか、デジタルメディアに情報を隠すか(例)。
0.64
images) instead of networks parameters. 画像) ネットワークパラメータの代わりに。 0.81
For instance, [19] employed two CNN networks to embed a onebit watermark in a single image block; [20] investigated a new family of transformation based on deep learning networks for blind image watermarking; and [21] proposed an end-to-end trainable framework, HiDDeN for data hiding in color images based on CNNs and GANs. 例えば、[19]は1つの画像ブロックに1ビットの透かしを埋め込むために2つのCNNネットワークを採用し、[20]はブラインド画像透かしのためのディープラーニングネットワークに基づく新しい変換ファミリーを調査し、[21]はCNNとGANに基づいてカラー画像にデータを隠すためのエンドツーエンドのトレーニング可能なフレームワークHiDDeNを提案した。 0.75
Nevertheless, these methods are meant to protect the IP of processed digital media, rather than that of the employed neural networks. それでもこれらの手法は、使用するニューラルネットワークではなく、処理されたデジタルメディアのipを保護することを目的としている。
訳抜け防止モード: にもかかわらず これらの方法は 使用するニューラルネットワークではなく、処理されたデジタルメディアのipを保護する。
0.77
3. Watermarking in GANs 3. GANにおける透かし 0.72
GANs consists of two networks, a generative network, G that learns the training data distribution and a discriminative network D that distinguishes between synthesize and real samples [22]. GANsは、トレーニングデータ分布を学習する生成ネットワークGと、合成と実際のサンプルを区別する識別ネットワークDの2つのネットワークで構成されています[22]。 0.86
This paper proposes a simple yet complete protection framework (black-box and white-box) by embedding the ownership information into the generator, G with a novel regularization term. 本稿では,新しい正規化項を持つジェネレータgに所有権情報を組み込むことにより,単純かつ完全で完全な保護フレームワーク(ブラックボックスとホワイトボックス)を提案する。 0.67
Briefly, in black-box scenario, we propose the reconstructive regularization to allow the generator to embed a unique watermark, at an assigned location of the synthesize image when given a trigger input (see Fig. 手短に言えば、ブラックボックスのシナリオでは、トリガー入力が与えられると、ジェネレータが合成画像の割り当てられた位置にユニークなウォーターマークを埋め込めるように再構成正規化を提案する(図参照)。 0.68
1). While, in white-box scenario, we adopt and modify the sign loss in [18] that enforces the scaling factor, γ in the normalization layer to take either positive or negative values. 1). 一方、ホワイトボックスのシナリオでは、[18] において正または負の値を取るために正規化層の γ のスケーリング係数を強制する符号損失を採用し、修正する。 0.78
With this, the sign of γ can be transformed into binary sequences that carry meaningful information. これにより、γの符号は意味のある情報を運ぶ二進列に変換することができる。 0.71
For this work, we decided to demonstrate on three GANs variants, namely, DCGAN [23], SRGAN [24] and CycleGAN [25] to present the flexibility of our proposed framework. 本研究では,DCGAN [23],SRGAN [24],CycleGAN [25]の3種類のGANを実証し,提案するフレームワークの柔軟性を示すことを決定した。 0.80
With trivial modifications2, our method can easily extend to other deep generative models, X, i.e. 自明な修正2により、我々の手法は他の深層生成モデル、すなわち X に容易に拡張できる。 0.68
VAE, as long as X outputs an image given a vector or image as the input. VAEは、Xがベクトルまたはイメージを入力として与えられた画像を出力する限り。 0.83
3.1. Black-box 3.1. ブラックボックス 0.66
In general, we propose a reconstructive regularization that instructs the generator, G to map a trigger input to a specific output. 一般に、生成元Gに特定の出力にトリガ入力をマッピングするように指示する再構成正則化を提案する。 0.81
Herein, the challenge is defining an appropriate transformation function to ensure that the distribution of trigger set is distinct from the actual data. ここでの課題は、トリガーセットの分布が実際のデータと区別されるように、適切な変換関数を定義することである。 0.71
In GANs, since the generator, G always output (synthesize) an image, the specific output will be a watermark-based image since the watermark (e.g. GANでは、発生器Gは常に画像を出力(合成)するため、特定の出力は透かし(例えば)以来の透かしベースの画像となる。 0.84
company’s logo) holds unambiguous visual 会社のロゴ)には明白な視覚がある 0.61
2please refer to the Appendix II for a proof 2証明については付録IIを参照ください。 0.62
information which is straightforward to verify the ownership. 所有権の検証が簡単な情報です。 0.59
The detailed implementations are described below: 詳細な実装は以下の通りです。 0.62
3.1.1 DCGAN 3.1.1 DCGAN 0.50
Technically, the input to DCGAN is a latent vector randomly sampled from a standard normal distribution, z ∼ N (0, 1). 技術的には、DCGAN への入力は、標準正規分布 z (0, 1) からランダムにサンプリングされた潜在ベクトルである。 0.78
Hence, we define a new input transformation function, f, that maps the latent vector to a trigger latent vector (f : z (cid:55)→ xw) as follow: したがって、潜入ベクトルをトリガー潜入ベクトル (f : z (cid:55) → xw) にマップする新しい入力変換関数 f を次のように定義する。 0.77
f (z) = z (cid:12) b + c(1 − b) f (z) = z (cid:12) b + c(1 − b) 0.94
and b ∈ {0, 1}D(z) そして b ∈ {0, 1}D(z) 0.82
(1) Intuitively, Eq. (1) 直感的には eq 0.72
1 masks the n value of the latent vector, z to a constant value, c where the position of the n values are determined by the bitmask, b and D is the dimension. 1 は潜在ベクトルの n 値をマスクし、z は定数値、c は n の値がビットマスクによって決定され、b と D は次元である。 0.73
Then, in order to transform the generator output to a specific target, we define the new output transformation function as g : G(z) (cid:55)→ yw where it will apply an unique watermark on the generator output. そして、生成元出力を特定の目標に変換するために、新しい出力変換関数を g : G(z) (cid:55)→ yw と定義し、生成元出力にユニークな透かしを適用する。
訳抜け防止モード: そして順番に 発電機の出力を特定の目標に変換します 新しい出力変換関数を g : G(z ) ( cid:55) → yw ここで定義する。 発電機の出力に ユニークな透かしを施す。
0.82
The equation can be pictorially represented as: この方程式は図式的に次のように表現できる。 0.48
  = g ,   =g , 0.83
(2) After defining both the input/output transformation functions, we define the reconstructive regularization derived from the structural similarity (SSIM) [26] which measures the perceived quality between two images. (2) 入力/出力変換関数の両方を定義した後、構造的類似性(SSIM)[26]から導かれる再構成正則化を定義し、2つの画像間の知覚品質を測定する。 0.79
Since the range of SSIM is in [0, 1], we define the regularization to optimize as: SSIMの範囲は[0, 1]であるため、以下のように最適化する正規化を定義します。 0.77
Lw (xw, yw) = 1 − SSIM (G(xw), yw) Lw (xw, yw) = 1 − SSIM (G(xw, yw)) 0.82
(3) For the experiment purpose, we have chosen Spectral Normalization GAN (SN-GAN) [27] which is a variant of DCGAN. (3) 実験目的のために, DCGAN の変種であるスペクトル正規化 GAN (SN-GAN) [27] を選択した。 0.83
Taking the generator’s objective function (Eq. ジェネレータの目的関数(eq)を取る。 0.63
4), we optimize the regularization term defined in Eq. 4) で定義される正規化項を最適化する。 0.78
3 and the generator’s objective function simultaneously: 3とジェネレータの目的関数を同時に行う。 0.69
(cid:104) ˆD (G (z)) (cid:105) (cid:104) (g(z)) (cid:105) 0.91
LDC = −Ez∼pz(z) LDC = −Ez\pz(z) 0.78
(4) LDCw = LDC + λLw (4) LDCw = LDC + λLw 0.92
(5) with the reconstructive regularization scaled by associated hyper-parameter, λ to balance between the quality of generated image and the perceived similarity of the generated watermark when the trigger input is provided. (5) 関連するハイパーパラメータによる再構成正則化により, トリガー入力が与えられた場合, 生成画像の品質と生成透かしの類似度とのバランスが図られる。 0.87
3.1.2 SRGAN 3.1.2 SRGAN 0.50
SRGAN has been the foundation for most, if not all, the recent super-resolution tasks, in which the generator of SRGAN takes a low resolution image, I and generate a respective high resolution image. SRGANは、SRGANのジェネレーターが低解像度の画像を取り出し、それぞれの高解像度の画像を生成する最近の超高解像度タスクの大部分の基礎となっています。 0.77
As such, the input transformation function, f defined in Section 3.1.1 will not be したがって、セクション3.1.1で定義された入力変換関数 f は成り立たない。 0.69
3 3 0.85
英語(論文から抽出)日本語訳スコア
Generator Loss Input DCGAN 発電機 損失 入力 DCGAN 0.72
LDC [Eq. 5] z ∼ N (0, 1) LSR [Eq. LDC[Eq]。 5] zはN (0, 1) LSR [Eq。 0.69
8] x ∼ pdata(x) SRGAN CycleGAN LC [Eq. 8] x × pdata(x) SRGAN CycleGAN LC [Eq。 0.77
10] x ∼ pdata(x) 10]x を pdata(x) とする。 0.79
Trigger f (z) [Eq. トリガー f (z) [Eq。 0.73
1] h(x) [Eq. 1] h(x) [Eq。 0.83
6] h(x) [Eq. 6] h(x) [Eq。 0.83
6] Black-Box Target 6] ブラックボックスターゲット 0.78
Loss White-Box 損失 ホワイトボックス 0.63
Norm Type Loss Overall Loss 規範型 損失 全体的損失 0.66
g(G(z)) [Eq. g(g(z)) [eq] である。 0.81
2] Lw [Eq. 2] Lw [Eq。 0.77
3] g(G(x)) [Eq. 3] g(G(x)) [Eq。 0.79
2] Lw [Eq. 2] Lw [Eq。 0.77
3] g(G(x)) [Eq. 3] g(G(x)) [Eq。 0.79
2] Lw [Eq. 2] Lw [Eq。 0.77
3] BatchNorm 3] BatchNorm 0.85
BatchNorm InstanceNorm Ls [Eq. BatchNorm InstanceNorm Ls [Eq] 0.75
11] Ls [Eq. 11] Ls [Eq]。 0.80
11] LDC + λLw + Ls Ls [Eq. 11] LDC + λLw + Ls Ls [Eq。 0.85
11] LSR + λLw + Ls LC + λLw + Ls 11] LSR + λLw + Ls LC + λLw + Ls 0.98
Table 2: Summary of our proposed implementation to protect the IPR of GANs models. 表2: GANモデルのIPRを保護するために提案した実装の概要。 0.74
Note that, the equations herein are reflected in the main paper. なお、この方程式は主論文に反映されている。 0.71
Figure 2: First row is the generated images using latent inputs, G(z) and the second row is the generated images using trigger inputs, G(xw). 図2: 第一行は潜時入力G(z)を用いて生成された画像であり、第二行はトリガ入力G(xw)を用いて生成された画像である。 0.75
Each column is a DCGAN model trained on different watermarks. 各列は異なった透かしで訓練されるDCGANモデルです。 0.72
applicable. For that reason, we define an alternative input transformation function, h that maps an image input to a trigger set (h : I (cid:55)→ xw). 適用可能。 そのため、画像入力をトリガー集合 (h : I (cid:55)→ xw) にマッピングする別の入力変換関数 h を定義する。 0.68
This function is almost identical to Eq. この関数は Eq とほとんど同じである。 0.85
2 with an exception that a random noise is embedded on the input image, rather than a watermark. 例外として、ウォーターマークではなく、ランダムなノイズが入力イメージに埋め込まれている。 0.73
The function, h can be visually represented as: 関数 h は次のように視覚的に表現できる。 0.79
 = h  (6)  =h  (6) 0.80
For the output transformation function, since the output from all variant of GANs is the same (i.e. 出力変換関数の場合、GANのすべての変種からの出力は同じ(すなわち)ためである。 0.86
an image), we can re-use g and reconstructive regularization (Eq. イメージ) g を再利用し、再構成正則化(Eq)できる。 0.77
3) to transform the output of SRGAN to embed a unique watermark on the generated high-resolution image. 3) SRGANの出力を変換して生成した高解像度画像にユニークな透かしを埋め込む。 0.84
The generator loss function composed of a content loss and an adversarial loss and we use the VGG loss defined on feature maps of higher level features as described in [24]: 生成器の損失関数は,内容損失と逆損失で構成され,[24]に示すような高次特徴量の特徴マップ上で定義されたVGG損失を用いる。 0.85
LSR = lSR V GG/5,4 + 10−3lSR LSR = lSR VGG/5,4 + 10−3lSR 0.67
Gen (7) To this end, the new objective function of our protected 源 (7) この目的のために 保護された新しい目的関数は 0.69
SRGAN is denoted as LSRw = LSR + λLw SRGANとは? LSRw = LSR + λLw 0.78
(8) 3.1.3 CycleGAN (8) 3.1.3 CycleGAN 0.68
The generators in CycleGAN [25] take an image, I from a domain as input and translate the image into a same size CycleGAN [25]のジェネレータは、入力としてドメインからイメージを取り、画像を同じサイズに翻訳します。 0.72
4 Figure 3: First image is a sample of trigger input xw to SRGAN. 4 図3:最初の画像はSRGANへのトリガー入力xwのサンプルです。 0.81
Next three images are the special targets G(xw) from SRGAN models trained on different watermarks. 次の3つの画像は、異なる透かしで訓練されたSRGANモデルからの特殊ターゲットG(xw)です。 0.64
image of another domain. 別のドメインのイメージ。 0.79
Provided with this fact, we can use the function h defined in Eq. この事実により、Eq で定義された関数 h を使用できます。 0.83
6 to map a training input to a trigger set and consistently employ function g defined in Eq. 6 トレーニング入力をトリガセットにマップし、eqで定義された関数gを一貫して採用する。 0.73
2 to embed the watermark on the output image. 2. 出力画像に透かしを埋め込む。 0.64
Yet, we use the same reconstructive regularization defined in Eq. しかし、eqで定義された同じ再構成正規化を用いる。 0.68
3 and add to the generator loss of CycleGAN. 3とCycleGANの発電機の損失に追加します。 0.65
Even though there are two generators in CycleGAN, we only need to select one of them as our target for protection. CycleGANには2つのジェネレータがありますが、その1つを保護対象として選ばなければなりません。 0.70
The objective function of the selected generator is given as: LGAN =Ey∼pdata(y) [logDY (y)] + 選択されたジェネレータの目的関数は、次のように与えられる。 lgan =ey\pdata(y) [logdy (y)] + 0.69
Ex∼pdata(x) [log(1 − DY (x))] 出典:pdata(x) [log(1 − DY(x))] 0.73
LCyc =Ex∼pdata(x) [(cid:107)F (G(x)) − x(cid:107)1] LCyc =Exypdata(x) [(cid:107)F (G(x))) − x(cid:107)1] 0.91
LC = LGAN + LCyc LC = LGAN + LCyc。 0.98
Thus, the new objective for our CycleGAN is: したがって、CycleGANの新しい目的は次のとおりです。 0.65
LCw = LC + λLw LCw = LC + λLw 0.99
(9) (10) Verification. (9) (10) 検証。 0.79
For the verification in black-box setting, initially, any suspected online GAN models will be queried remotely by owner (company) via API calls to gather evidence. ブラックボックス設定での検証のために、最初に疑わしいオンラインGANモデルは、API呼び出しを介して所有者(会社)によってリモートでクエリされ、証拠を収集します。 0.60
That is to say, owner (company) submits a list of trigger set data as query to the GANs online service that is in question. つまり、所有者(会社)は、問題のGANsオンラインサービスにクエリとしてトリガーセットデータのリストを送信します。 0.74
Evidence will be collected as a proof of ownership if the response output is embedded with the designated watermark logo (see Fig. 応答出力が指定された透かしロゴに埋め込まれている場合、エビデンスを所有権の証明として収集する(図参照)。 0.66
2, 3, 4 for examples). 例: 2, 3, 4)。 0.68
Moreover, the verification of the embedded watermark can be measured by calculating the SSIM between the expected output さらに、期待出力間のSSIMを計算することにより、埋め込み透かしの検証を行うことができる。 0.76
英語(論文から抽出)日本語訳スコア
Figure 4: Image pairs, xw/G(xw) from different CycleGAN models trained on horse2zebra (first row) and Cityscapes (second row) datasets, respectively 図4: 異なるCycleGANモデルのイメージペア xw/G(xw) はそれぞれ horse2zebra (1列) と Cityscapes (2列) データセットでトレーニングされた。 0.76
yw and the output generated by the model G(xw), with trigger input is provided, and the sample results are shown in Fig. トリガー入力でモデルG(xw)によって生成された出力とywが提供され、サンプル結果を図に示します。 0.80
8a. SSIM score reflects the perceived similarity between the generated watermark and the ground truth watermark and a score of above 0.75 should give an unambiguous, distinctive watermark that can be used in ownership verification (please refer to Fig. 8a。 ssimスコアは、生成したウォーターマークと基底真理ウォーターマークとの類似性を反映しており、0.75以上のスコアは、所有権検証に使用できる曖昧で特徴的なウォーターマークを与えるべきである(図を参照)。 0.73
5). 3.2. White-box 5). 3.2. ホワイトボックス 0.73
In order to provide a complete protection for GANs, we adopt the sign loss introduced in [18] as a designated key (i.e. GANの完全な保護を提供するため、[18]で導入された符号損失を指定キー(すなわち、)として採用する。 0.70
signature) which have been proven to be robust to both removal and ambiguity attacks. 署名) 削除と曖昧性攻撃の両方に対して堅牢であることが証明されている。 0.62
Specifically, such signatures are embedded into the scaling factors, γ of normalization layers with C channels in the generators, which can be then retrieved and decoded for ownership verification purpose. 具体的には、これらのシグネチャを、ジェネレータ内のCチャネルを持つ正規化層のスケーリング係数γに埋め込んで、オーナシップ検証のために取得および復号化することができる。 0.67
Eq. 11 serves as a guidance for the sign of a weight in the normalization layers. eqだ 11は、正規化層の重みの兆候のガイダンスとして機能します。 0.66
C(cid:88) Ls(γ, B) = C(cid:88) Ls(γ, B) = 0.85
max (γ0 − γibi, 0) max (γ0 − γibi, 0) 0.96
(11) i=1 where B = {b1,··· , bC | b ∈ {−1, 1}} is the defined binary bit signature that, when optimize this objective, will enforce the i-th channel’s scaling factor, γi to take either positive or negative polarity (+/-) as designated by bi. (11) i=1 B = {b1,·· , bC | b ∈ {−1, 1}} は定義されたバイナリビットシグネチャであり、この目的を最適化すると、i-thチャネルのスケーリング係数 γi を bi で指定した正あるいは負の極性 (+/-) を取るように強制する。 0.75
γ0 is a constant to control the minimum value of γ (to avoid all 0s γ). γ0 は γ の最小値を制御する定数である(すべての 0s γ を避けるため)。 0.89
Then, this regularization term is added to the objective functions of DCGAN (Eq. そして、この正規化項をDCGAN(Eq)の目的関数に追加する。 0.61
5), SRGAN (Eq. 5)、SRGAN (Eq。 0.74
8) and CycleGAN (Eq. 8)およびCycleGAN (Eq。 0.69
10). To this end, the overall objective for the generators are respectively denoted as: 10). この目的のために、ジェネレータの全体的な目的はそれぞれ次のようになる。 0.74
LDCws = LDC + λLw + Ls LSRws = LSR + λLw + Ls LCws = LC + λLw + Ls LDCws = LDC + λLw + Ls LSRws = LSR + λLw + Ls LCws = LC + λLw + Ls 0.97
With the sign loss incorporated into the training objective, the scaling factor of normalization layers in generator are now in either positive or negative value where the unique binary sequence can be used to resemble the ownership information of a particular network. トレーニングの目的に組み込まれたサイン損失により、ジェネレーター内の正規化層のスケーリング係数は、特定のネットワークの所有権情報に類似するために一意のバイナリシーケンスを使用できる正または負の値になります。 0.71
The capacity of embedded 5 0.00 組込み能力 5 0.00 0.61
0.25 0.50 0.75 0.25 0.50 0.75 0.59
1.00 Figure 5: Different perceived quality of watermark and the SSIM score respectively. 1.00 図5: 透かしの品質とSSIMスコアがそれぞれ異なる。 0.62
GAN DCGAN SRGAN CycleGAN ガン DCGAN SRGAN Cyclegan 0.64
Channels Capacity 56 bytes 264 bytes 656 bytes チャネル容量 56バイト 264バイト 656バイト 0.73
448 2112 5248 448 2112 5248 0.85
Table 3: The amount of information that can be embedded into GAN generators. 表3:GANジェネレータに組み込むことができる情報の量。 0.65
information (see Table 3) is constrained by the total number of channels in normalization layers. 情報(表3)は正規化層のチャネルの総数によって制限される。 0.78
For example in our DCGAN model, the total number of channels for each layer are 256, 128 and 64 respectively. 例えば、DCGANモデルでは、各レイヤのチャネルの総数は256、128、64である。 0.53
Thus, we can embed at most 448 bits, equivalent to 56 bytes into the model. したがって、56バイトに相当する最大448ビットをモデルに埋め込むことができます。 0.81
As for SRGAN, intuitively, more information can be embedded as it has more layers than DCGAN model and so does CycleGAN. SRGANについては直感的には、DCGANモデルよりも多くの層を持つため、CycleGANも同様に多くの情報を埋め込むことができる。 0.67
We refer readers to Sec. 読者はSecを参照。 0.58
4.6 for superior performances of the sign-loss based method, demonstrated by extensive experiment results. 4.6 広範囲な実験結果により実証されたサインロス方式の優れた性能。 0.70
Verification. Given the evidence from black-box verification step in Section 3.1, the owner can subsequently go through law enforcement and perform white-box verification which to access the model physically to extract the signature. 検証。 第3.1節のブラックボックス検証のステップから証拠が得られれば、所有者はその後法執行機関を通過して、物理的にモデルにアクセスして署名を抽出するホワイトボックス検証を行うことができる。 0.63
As an example shows in Table 19, we embed an unique key ”EXAMPLE” into our DCGAN’s batch normalization weight. 例えば、テーブル19に示すように、dcganのバッチ正規化重みにユニークなキー“例”を埋め込んでいます。 0.67
It shows how to decode the trained scale, γ to retrieve the signature embedded. これは、訓練されたスケール、γをデコードして署名を埋め込む方法を示しています。 0.57
Also, please note that even that there are two or more similar alphabets, their γ are different from each other, respectively. また、2つ以上の類似したアルファベットがあるとしても、それぞれの γ はそれぞれ異なることに注意してください。 0.83
4. Experimental Results This section illustrates the empirical study of our protection framework on the GAN models. 4. 実験結果 本稿では,GANモデルにおける保護フレームワークの実証的研究について述べる。 0.80
To make a distinction between the baseline models and the protected models, we denote our proposed GAN models with subscript w and ws where GANw models (i.e. ベースラインモデルと保護モデルとを区別するために、提案したGANモデルに、GANwモデル(すなわち、GANwモデル)をサブスクリプトwとwsで表現する。 0.69
DCGANw, SRGANw, CycleGANw) are the protected GANs in blackbox setting using only the reconstructive regularization, Lw whereas GANws models (i.e. DCGANw、SRGANw、CycleGANw)は、GANwsモデル(すなわち、再構築正規化のみを使用してブラックボックス設定で保護されたGANである。 0.67
DCGANws, SRGANws, CycleGANws) represent the protected GAN generators in both black-box and white-box settings using both of the regularization terms, Lw and sign loss, Ls. DCGANws、SRGANws、CycleGANwsは、正規化用語Lwと符号損失Lsを使用して、ブラックボックスとホワイトボックスの両方で保護されたGANジェネレータを表す。 0.69
4.1. Hyperparameters 4.1. ハイパーパラメータ 0.67
We strictly followed all the hyperparameters and the architecture defined in the original works for each GAN model. 私たちは、GANモデルのオリジナルの作業で定義されたすべてのハイパーパラメータとアーキテクチャを厳格に追った。 0.61
The only modification that we had made is adding 私たちが行った唯一の修正は追加です。 0.70
英語(論文から抽出)日本語訳スコア
Figure 6: Sample of watermarks employed in this paper. 図6: この論文で使用される透かしのサンプル。 0.83
regularization terms to the generator loss. 発電機の損失の正則化の条件です 0.62
As discussed in Section 3.1, we trained the DCGAN models using CIFAR10 dataset [28] aligned using the architecture and the loss function proposed in [27]. セクション3.1で論じたように、アーキテクチャと[27]で提案された損失関数を用いて、CIFAR10データセット[28]をアライメントしてDCGANモデルをトレーニングした。 0.73
We used the logos shown in Fig. 図に示すロゴを使用しました。 0.69
6 as our watermark that revealed when the trigger input is presented as illustrated in Fig. トリガー入力が図に示すように表示された際の透かしである。 0.62
1. The coefficient, λ is set to 1.0 for all experiments unless stated otherwise. 1. 係数 λ はすべての実験で 1.0 に設定される。 0.78
Unlike SRGAN and CycleGAN, the transformation function, f (Eq. SRGAN や CycleGAN とは異なり、変換関数 f (Eq。 0.67
1) used in DCGAN has extra parameters n and c to consider, in which we decided to employ n = 5 and c = −10 after a simple ablation study as reported in Section 4.7. 1) DCGAN で使用されるパラメータ n と c は考慮すべきであり、第 4.7 節で報告された単純なアブレーション研究の後に n = 5 と c = −10 を採用することを決定した。 0.73
The size of the watermark is 16 × 16 compared to the generated image with resolution 32 × 32 so that the watermark is not too small to be visible. 透かしのサイズは解像度32 × 32で生成された画像と比較して16 × 16であり、透かしが小さすぎないようにします。 0.77
Besides, CIFAR10, the exactly same setting were used to train on the CUB200 dataset [29] which has a higher resolution (64 × 64). さらに、CIFAR10は、CUB200データセット[29]のより高い解像度(64 × 64)のトレーニングにまったく同じ設定を使用していました。 0.74
Likewise, we trained SRGAN on randomly sampled 350k images from ImageNet [30] and adopted the architecture and hyper-parameters presented in [24]. また,ImageNet[30]から350kの画像をランダムにサンプリングしてSRGANを訓練し,[24]に示すアーキテクチャとハイパーパラメータを採用した。 0.74
In the super resolution task, the training images are up-sized 4 times from 24 × 24 to 96 × 96. 超解像度タスクでは、トレーニング画像は24×24から96×96までの4倍にアップサイズされる。 0.79
As discussed in Section 3.1, we used the transform function, h (Eq. セクション3.1で述べたように、変換関数 h (Eq) を用いた。 0.78
6) to paste a random noise of size 12× 12 onto the input image, at the same time, we employed function, g (Eq. 6) 入力画像に12×12の大きさのランダムノイズを貼り付けると同時に, g(eq。
訳抜け防止モード: 6 ) 入力画像にサイズ12×12のランダムノイズを貼り付けます。 同時に、関数 g (Eq ) も採用しました。
0.68
2) to attach a watermark of size 48 × 48 onto the output image. 2) 出力画像にサイズ48×48の透かしを付ける。 0.62
As for CycleGAN, we trained the model on Cityscapes dataset [31] but only protect one of the generator (label → photo) as to prevent redundancy. CycleGAN については、Cityscapes データセット [31] でモデルをトレーニングしましたが、冗長性を防ぐために発電機 (ラベル → 写真) の 1 つだけを保護します。 0.69
Except the regularization terms (Lw, Ls), we keep to the parameters defined in [32]. 正規化用語 (Lw, Ls) を除いて、[32] で定義されたパラメータに保ちます。 0.83
The setting is very similar to SRGAN’s with the resolution of the random noise and watermark in 32 × 32 compared to the size of the training images in 128 × 128. この設定は、128 × 128 のトレーニング画像のサイズと比較して、32 × 32 のランダムノイズと透かしの解像度でSRGANと非常に似ています。 0.76
4.2. Evaluation Metrics To evaluate the generative models quantitatively, we use a set of metrics to measure the performance of each model. 4.2. 評価指標 生成モデルを定量的に評価するために、各モデルの性能を測定するためにメトリクスのセットを使用する。 0.73
For image generation task with DCGAN, we calculate the Frechet Inception Distance (FID) [33] between the generated and real images tested on CIFAR10 and CUB-200 as the benchmark datasets. DCGANを用いた画像生成タスクでは、CIFAR10でテストされた画像と実画像のFrechet Inception Distance (FID) [33]をベンチマークデータセットとして計算します。 0.73
For image super-resolution with SRGAN, we use peak signal-to-noise ratio (PSNR) and SSIM as our metrics and employ Set5, Set14, BSD100 (testing set of BSD300) as the benchmark datasets. SRGANを用いた画像超解像では、ピーク信号対雑音比(PSNR)とSSIMを指標とし、ベンチマークデータセットとしてSet5, Set14, BSD100(BSD300のテストセット)を用いる。 0.72
According to the original paper [24], all measures were calculated on the y-channel. オリジナルの論文[24]によると、すべての措置はyチャンネルで計算されました。 0.66
We performed the same in order to have a fair comparison with [24]. 我々は[24]と公平に比較するために同じことをした。 0.77
As for CycleGAN, we measure the FCN-scores as presented in [32] on the Cityscapes label → photo which consists of per-pixel acc., per-class acc. cyclegan については、[32] で示される fcn-scores を測定する: cityscapes ラベル → photo は 1 ピクセル acc., クラス acc ごとに構成される。 0.62
and class IoU. そしてクラスIoU。 0.72
6 DCGAN DCGANw DCGANws 6 DCGAN DCGANw DCGANws 0.85
CIFAR-10 26.54 ± 1.04 24.83 ± 0.37 26.27 ± 0.54 CIFAR-10 26.54 ± 1.04 24.83 ± 0.37 26.27 ± 0.54 0.52
CUB-200 58.34 ± 1.50 53.07 ± 4.07 56.64 ± 2.74 CUB-200 58.34 ± 1.50 53.07 ± 4.07 56.64 ± 2.74 0.52
Table 4: Fidelity in DCGAN: Scores are in FID ( ↓ is better). 表4:DCGANの忠実さ:スコアはFID(より良い点)です。 0.66
SRGAN SRGANw SRGANws SRGAN SRGANw SRGANws 0.85
Set5 29.38/0.85 29.35/0.85 29.14/0.85 セット5 29.38/0.85 29.35/0.85 29.14/0.85 0.46
Set14 25.92/0.71 25.46/0.71 26.00/0.72 設定14 25.92/0.71 25.46/0.71 26.00/0.72 0.46
BSD 25.08/0.67 24.21/0.65 25.35/0.67 BSD 25.08/0.67 24.21/0.65 25.35/0.67 0.53
Table 5: Fidelity in SRGAN: Scores are in PSNR/SSIM (↑ is better). 表5: fidelity in srgan: score are in psnr/ssim (i is better)。 0.71
Per-pixel acc. ピクセルあたりacc。 0.70
Per-class acc. Class IoU クラス別acc。 IoU級 0.67
CycleGAN CycleGANw CycleGANws CycleGAN CycleGANw CycleGANws 0.85
0.55 0.55 0.58 0.55 0.55 0.58 0.47
0.18 0.18 0.19 0.18 0.18 0.19 0.47
0.13 0.13 0.14 0.13 0.13 0.14 0.47
Table 6: Fidelity in CycleGAN: Scores are in per-pixel acc., per-class acc. 表6: サイクルガンの忠実度:スコアは1ピクセル単位、クラス単位である。 0.62
and class IoU (↑ is better). そしてクラスIoU(シはよりよいです)。 0.80
The watermark quality is measured in SSIM between the ground truth watermark image and the generated watermark image when a trigger, xw is presented. トリガxwが提示されたとき、地平透かし画像と生成された透かし画像との間のSSIMで透かし品質を測定する。 0.75
To avoid a confusion with SSIM used in SRGAN, we denote this metrics as Qwm which implies the quality of watermark. SRGANで使用されるSSIMとの混同を避けるため、この指標をQwmと表現し、透かしの品質を示す。 0.76
The signature embedded into the normalization weights are measured in bit-error rate (BER) when compared to the defined signature, B (see Eq. 正規化重みに埋め込まれたシグネチャは、定義されたシグネチャBと比較してビットエラー率(BER)で測定される(Eqを参照)。 0.63
11). 4.3. Fidelity 11). 4.3. 忠誠 0.67
In this section, we compare the performance of each GAN models against the GAN models protected using the proposed framework. 本稿では,提案フレームワークを用いて保護されたGANモデルと,それぞれのGANモデルの性能を比較した。 0.82
According to Table 4, it is observed that the performances of the protected DCGAN (i.e. 表4では、保護されたDCGAN(すなわち、)のパフォーマンスが観察される。 0.75
DCGANw and DCGANws) are comparable or slightly better in terms of FID score on CIFAR-10 datasets. DCGANw と DCGANws) は CIFAR-10 データセットの FID スコアの点で比較可能かやや優れている。 0.74
However, there is a slightly drop in performance when trained using CUB-200 datasets. ただし、CUB-200データセットを使用してトレーニングすると、パフォーマンスがわずかに低下します。 0.59
The difference in performances of the protected SRGAN (i.e. 保護されたSRGANの性能の違い(すなわち。 0.75
SRGANw and SRGANws) and the baseline SRGAN is subtle, where the PSNR deviates for 0.87 and SSIM deviates for 0.02 at most across all the datasets. SRGANw と SRGANws) とベースライン SRGAN は微妙であり、PSNR は 0.87 で、SSIM は 0.02 で全てのデータセットを除いた。 0.81
Moreover, qualitatively, we also illustrate in Fig. さらに、定性的には、図にも示します。 0.64
7 that the performance of our proposal does not degrade much compared to the baseline after added regularization terms to the training objective. 7で,本提案では,トレーニング目標に正規化条件を加えた結果,ベースラインに比較して性能が劣化しないことがわかった。 0.65
Meanwhile, CycleGANw has an identical FCNscore with the baseline CycleGAN and CycleGANws has a noticeable improvement. 一方、cycleganwはベースラインのcycleganと同一のfcnscoreを持ち、cycleganwsは顕著に改善されている。 0.51
In short, adding the regularization terms has minimal effect to the performance of the GANs in respective tasks while it may slightly improve the performance in some conditions. 要するに、正規化用語の追加は、各タスクにおけるGANのパフォーマンスに最小限の効果をもたらすが、いくつかの条件でパフォーマンスをわずかに改善する可能性がある。 0.59
英語(論文から抽出)日本語訳スコア
22.47dB 0.49 22.47dB 0.49 0.53
20.31dB 0.44 20.31dB 0.44 0.53
20.13dB 0.44 20.13dB 0.44 0.53
20.59dB 0.45 20.59dB 0.45 0.53
27.67dB 0.89 27.67dB 0.89 0.53
29.97dB 0.92 29.97dB 0.92 0.53
30.33dB 0.92 30.33dB 0.92 0.53
29.97dB 0.92 29.97dB 0.92 0.53
Figure 7: Fidelity (SRGAN): From left to right - bicubic upsample, output from SRGAN, SRGANw, SRGANws, respectively. 図7: フィデリティ(SRGAN): 左から右へ、それぞれSRGAN, SRGANw, SRGANwsから出力されるバイキュビックアップサンプル。 0.70
Scores are in (PSNR(db) / SSIM). スコアは(PSNR(db)/SSIM)にあります。 0.73
(a) Verification (b) Fine-Tuning (a) 検証 (b)微調整 0.71
(c) Overwriting Figure 8: Distribution of watermark quality, Qwm measured in SSIM using 500 samples. (c)上書き 図8:500サンプルを用いてSSIMで測定した透かしの品質,Qwmの分布。 0.81
(a) shows the distributions before the removal attacks (b) shows the distributions after fine-tuning, (c) shows the distributions after overwriting. a) 削除攻撃前の分布(b) は微調整後の分布を示し、(c) は上書き後の分布を示す。 0.74
DCGANws SRGANws CycleGANws DCGANws SRGANws CycleGANws 0.85
Qwm 0.97 ± 0.01 0.93 ± 0.10 0.90 ± 0.02 Qwm 0.97 ± 0.01 0.93 ± 0.10 0.90 ± 0.02 0.69
BER 0 0 0 Table 7: Quality of the watermark, Qwm and BER in DCGAN, SRGAN and CycleGAN. BER 0 0 0 表7:DCGAN,SRGAN,CycleG ANにおける透かし,Qwm,BERの品質 0.80
4.4. Verification Black-box. 4.4. 検証 ブラックボックス。 0.70
In this section, we will discuss the verification process using the quality of the watermark, Qwm which is the SSIM computed at the generated watermark with the ground truth watermark. このセクションでは、生成された透かしで計算されたSSIMである透かしQwmの品質を地下真理透かしで検証するプロセスについて説明します。 0.70
Table 7 and Fig. 8a shows that the score is high (close to 1) when the trigger inputs are given in comparison to the normal inputs. 表7と図7。 8aは、通常入力と比較してトリガー入力が与えられるとスコアが高い(1に近い)ことを示している。 0.79
This implies that the watermark generated is very similar to the ground truth watermark (see Fig. これは、生成する透かしが基底真理透かしと非常によく似ていることを意味する(図参照)。 0.59
2, 3, 4). As a result, this provides a strong evidence for the owner to claim the ownership to the specific GAN model as the model will output an unambiguous logo that represent the owner. 2, 3, 4). その結果、モデルは所有者を表す曖昧なロゴを出力するので、これは所有者が特定のGANモデルの所有権を要求する強力な証拠を提供します。 0.80
White-box. Subsequently, if the black-box verification does not provide convincing evidence, the next step is to further investigate the weights of suspicious model in used. ホワイトボックス。 その後、ブラックボックス検証が証拠を示さない場合、次のステップは、使用中の疑わしいモデルの重みをさらに調査することである。 0.74
That is, to extract the signature from the weights at the normalization layers and convert the signatures into ASCII すなわち、正規化層の重みからシグネチャを抽出し、シグネチャをASCIIに変換する。 0.60
7 DCGANws Fine-tune Overwrite 7 DCGANwsファインチューンオーバーライト 0.73
FID 26.54 ± 1.04 30.50 ± 1.10 35.68 ± 1.10 FID 26.54 ± 1.04 30.50 ± 1.10 35.68 ± 1.10 0.69
Qwm BER 0.97 0.96 0.49 Qwm BER 0.97 0.96 0.49 0.59
0 0 0 Table 8: First row is the FID scores, watermark quality, Qwm and BER for DCGANws. 0 0 0 表8:最初の行はDCGANwsのためのFIDスコア、透かしの質、QwmおよびBERです。 0.81
Second row shows the scores after fine-tuning and third row shows the scores after overwriting attack. 第2行は微調整後のスコア、第3行はオーバーライト攻撃後のスコアを示す。 0.56
SRGANws Fine-tune Overwrite SRGANのファインチューンオーバーライト 0.49
Set5 29.14/0.85 26.07/0.85 27.65/0.84 セット5 29.14/0.85 26.07/0.85 27.65/0.84 0.46
Set14 26.00/0.72 23.75/0.72 25.08/0.72 設定14 26.00/0.72 23.75/0.72 25.08/0.72 0.46
BSD 25.35/0.67 23.58/0.68 24.66/0.68 BSD 25.35/0.67 23.58/0.68 24.66/0.68 0.53
Qwm BER 0.93 0.83 0.17 Qwm BER 0.93 0.83 0.17 0.59
0 0 0 Table 9: First row is the PSNR/SSIM scores, watermark quality, Qwm and BER for SRGANws. 0 0 0 表9: 最初の行はPSNR/SSIMスコア、透かしの品質、QwmとBER for SRGANwsです。 0.82
Second row shows the scores after fine-tuning and third row shows the scores after overwriting attack. 第2行は微調整後のスコア、第3行はオーバーライト攻撃後のスコアを示す。 0.56
characters as shown in Appendix 10.5 (Table 19). Appendix 10.5 (Table 19) で示されている文字。 0.73
In this experiment, we embed the word ”EXAMPLE” into the normalization layers, however, in real use case, the owner can embed any words such as company name etc. この実験では、"例"という言葉を正規化レイヤに埋め込むが、実際のユースケースでは、所有者は企業名などの単語を組み込むことができる。 0.74
as the ownership information. In this experiment, all of the protected GAN models has BER=0 which implies the signature embedded 100% matches with the defined binary signature, B. 所有権情報として この実験では、保護された GAN モデルは全て BER=0 を持ち、これは定義されたバイナリシグネチャ B と100% に埋め込まれたシグネチャを意味する。 0.66
4.5. Robustness against removal attacks 4.5. 削除攻撃に対するロバスト性 0.68
Fine-tuning. Here, we simulate an attacker fine-tune the stolen model with the dataset to obtain a new model that inherits the performance of the stolen model while trying to remove the embedded watermark. 微調整。 ここでは,盗んだモデルをデータセットで微調整した攻撃者をシミュレートし,組込み透かしを除去しつつ,盗んだモデルの性能を継承する新しいモデルを得る。 0.65
That is, the host network is initialized using the trained weights embedded with watermark, then is fine-tuned without the presence of the regularization terms, i.e. つまり、ホストネットワークはウォーターマークに埋め込まれた訓練されたウェイトを使用して初期化され、正規化条件の存在なしに微調整される。 0.67
Lw and Ls. In Table 8, we can observe a performance drop (26.54 → 30.50) when the attacker fine-tune DCGANws to remove the embedded watermark while the watermark quality, Qwm is still relatively high (0.92) indicates that the watermark generated is still recognizable, further supported by Fig. LwとLs。 表8では、攻撃者が透かしの品質を保ちながら埋め込んだ透かしを除去するために直流GANwsを微調整した場合のパフォーマンス低下(26.54 → 30.50)を見ることができ、Qwmは比較的高い(0.92)。 0.72
8c which shows the distribution of Qwm after finetuning has no obvious changes. 微調整後のQwm分布を示す8cは明らかな変化はありません。 0.74
We also observe the same behaviour when fine-tuning SRGANws and CycleGANws in which the performance is slightly declined (see Table 9, 10). また,性能がやや低下したsrganwsとcycleganwsの微調整時の挙動も観察した(表9,10参照)。 0.72
Qualitatively3, we also can clearly visualize that the watermark before and after the fine-tuning is well preserved for all the GAN models. 定性的には,すべてのganモデルにおいて,微調整前後の透かしが良好に保存されていることも明らかである。 0.53
Empirically, this affirms that our method is robust against removal attempt by fine-tuning as the attempt is not beneficial and failed in removing the embedded watermark. 提案手法は,提案手法が有用ではなく,組込み透かしの除去に失敗するため,微調整による除去の試みに対して堅牢であることを示す。 0.60
Overwriting. We also simulate the overwriting scenario 上書き。 上書きシナリオをシミュレートします。 0.65
3please refer to Appendix 10.4 (Fig. 3please は Appendix 10.4 (図)を参照。 0.68
16) 16) 0.85
英語(論文から抽出)日本語訳スコア
Figure 9: From left to right shows the performance of DCGAN, SRGAN, CycleGAN when different percentage (%) of the sign(γ) is being modified (compromised). 図9: 左から右に、符号(γ)の異なるパーセント(%)が変更(妥協)されているときに、DCGAN、SRGAN、CycleGANのパフォーマンスを示しています。 0.72
Per-pixel acc. ピクセルあたりacc。 0.70
Per-class acc. Class IoU Qwm BER クラス別acc。 クラスIoU Qwm BER 0.70
CycleGANws Fine-tune Overwrite CycleGANwsファインチューン上書き 0.70
0.58 0.55 0.57 0.58 0.55 0.57 0.47
0.19 0.18 0.17 0.19 0.18 0.17 0.47
0.13 0.14 0.13 0.13 0.14 0.13 0.47
0.90 0.85 0.15 0.90 0.85 0.15 0.47
0 0 0 Table 10: First row is the FCN-scores, watermark quality, Qwm and BER for CycleGANws. 0 0 0 表10: 最初の行は、FCNスコア、透かし品質、Qwm、およびCycleGANwsのBERです。 0.79
Second row shows the scores after fine-tuning and third row shows the scores after overwriting attack. 第2行は微調整後のスコア、第3行はオーバーライト攻撃後のスコアを示す。 0.56
where the attacker is assumed to embed a new watermark into our trained model using the same method as proposed. 攻撃者は、提案された方法と同じ方法で、トレーニングされたモデルに新しい透かしを埋め込むと仮定される。 0.67
Table 8, 9, 10 show the results of the attempt. 表8、9、10は試みの結果を示しています。 0.80
Although we can notice the proposed method is being compromised (i.e. 提案手法が妥協されていることには気づくが(すなわち)、 0.63
Qwm drops in all 3 GAN models), the performance has also worsened explicitly. Qwmは3つのGANモデルすべてで低下し、パフォーマンスも明らかに悪化した。 0.70
However, if we ever met such condition, we can still claim the ownership by further investigate the normalization layers and retrieve the signature embedded into the weights since the signature remains intact in all sort of removal attacks (see next). しかし、もしそのような条件を満たせば、すべての種類の削除攻撃でシグネチャがそのまま残っているため、さらに正規化レイヤを調べ、重みに埋め込まれたシグネチャを検索することで、所有権を主張できる(次参照)。 0.54
4.6. Resilience against ambiguity attacks 4.6. 曖昧性攻撃に対する弾力性 0.66
Through Table 8, 9 and 10, we can observe that the embedded signature remains persistent even after removal attacks such as fine-tuning and overwriting as the BER remains 0 throughout the experiments. テーブル8,9,10を通して,berが実験を通して0のままであるように,微調整やオーバーライトといった攻撃が除去された後も,埋め込み署名が持続しているのが観察できる。 0.66
Thus, we can conclude that enforcing the sign in defined polarity using sign loss is rather robust against diverse adversarial attacks. したがって、符号損失を用いて定義された極性で符号を強制することは、様々な敵の攻撃に対してかなり頑健であると結論付けることができる。 0.42
We also simulated a scenario of an insider threat where the watermark and scale signs were exposed completely. 我々はまた、透かしとスケールサインが完全に露出するインサイダー脅威のシナリオをシミュレートした。 0.75
As shown in Fig. 9, it shows that the FID of DCGANws increases drastically (from 26 → 91) and SSIM of SRGANws drops, despite only 10% of the signs are modified. 図に示すように。 その結果,DCGANws の FID は (26 → 91 から) 劇的に増加し,SRGANws の SSIM は 10% しか変化していないにもかかわらず低下することがわかった。 0.76
Qualitatively, Fig. 10 clearly shows the quality of the generated images is badly deteriorated when the signs are compromised. 定性的に、図。 10は、サインが損なわれたときに生成された画像の品質がひどく悪化していることを明確に示します。 0.61
This is same for SRGANws and CycleGANws where the quality of the generated SR-images and (label → photo) images are very poor in quality where obvious artefact is observed even the signature signs are modified at only 10%. これは、生成したsr画像と(label → photo)画像の品質が極めて貧弱なsrganwsとcycleganwsでは同じであり、署名記号でさえも明らかなアーティファクトがわずか10%の修正で観察される。 0.78
In summary, we can deduce that the signs enforced in this way remain rather persistent against ambiguity attacks and offenders will not be able to employ new (modified) scale signs without compromising the GANs performance. 要約すると、この方法で強制された標識は曖昧な攻撃に対してかなり永続的であり、犯罪者はGANのパフォーマンスを損なうことなく、新しい(修正)スケールの標識を採用できないと推測できる。 0.56
8 Figure 10: Image pairs from left to right is GANws with 0% and 10% of the total signs were being randomly toggle. 8 図10: 左から右への画像ペアはGANwsで、0%と10%のサインがランダムにトグルされていた。 0.81
0.1 λ 25.88 FID Qwm 0.926 0.1 λ 25.88 FID Qwm 0.926 0.63
0.5 26.57 0.956 0.5 26.57 0.956 0.47
1.0 28.19 0.965 1.0 28.19 0.965 0.47
5.0 32.46 0.979 5.0 32.46 0.979 0.47
10.0 47.38 0.982 10.0 47.38 0.982 0.47
Table 11: λ vs. GAN performance measured in FID and quality of the generated watermark measured in SSIM. 表11:FIDで測定されたλ対GAN性能とSSIMで測定された生成透かしの品質。 0.79
Image pairs from left to right is λ=0.1; λ=1.0 and λ=10. 左右の画像対はλ=0.1、λ=1.0、λ=10である。 0.63
4.7. Ablation Study 4.7.1 Coefficient λ. 4.7. アブレーション研究 4.7.1 係数λ 0.68
The coefficient, λ is multiplied to the reconstructive regularizing term, Lw to balance between the original objective and the quality of generated watermark. この係数λを再構成正規化項Lwに乗じて、元の目的と生成された透かしの品質のバランスをとる。 0.73
We perform an ablation study and from Table 11, we show that when λ is low (0.1), the FID score is at the lowest, meaning the GAN model has a very good performance in the original task. 我々はアブレーション研究を行い、テーブル11から、λが低く(0.1)、FIDスコアが最も低く、GANモデルが元のタスクで非常に良いパフォーマンスを持っていることを示しています。 0.77
Oppositely, when λ is set to very high (10.0), the quality of the watermark, Qwm is at the best, but the FID score is the lowest along the spectrum. 反対に、λが非常に高い(10.0)に設定されたとき、透かしの質、Qwmは最高ですが、FIDスコアはスペクトルに沿って最も低いです。 0.75
However, qualitatively, it is hardly to visualize this. しかし、定性的には、これを視覚化することはほとんどない。 0.52
As a summary, there is a tradeoffs between GAN model performance and the watermarking quality. 要約すると、GANモデルの性能と透かしの品質にはトレードオフがある。 0.60
We find that λ = 1.0 is reasonable as the quality of watermark is relatively good without hurting the performance of the original task too much. We found that λ = 1.0 is reasonable, because the quality of watermark is a relatively good without without hurting the performance of the original task。 0.87
4.7.2 n vs. c. 4.7.2 n vs. C. 0.63
This experiment investigates the effects of different n and c settings to the original DCGAN performance (measured in FID) and the quality of the generated watermark (measured in SSIM). この実験は、異なるnおよびcの設定が元のDCGAN性能(FIDで測定)と生成された透かしの品質(SSIMで測定)に及ぼす影響を調べます。 0.85
We conclude that setting n = 5 and c = −10 perform the best (See Table 12) in terms of quality of both generated image and watermark, however, the choice can be vary depends on the situation. n = 5 と c = −10 の設定は、生成した画像と透かしの両方の品質の点で最良である(See Table 12)と結論付けるが、選択は状況によって異なる。 0.74
Notice that it performs the worst when setting c = 0 and the performance increases when the magnitude of c increases, moving away from 0. c = 0 とすると最悪となり、c の大きさが大きくなると性能が上昇し、0 から遠ざかる。
訳抜け防止モード: c = 0 とすると最悪であることに注意。 そして、cの大きさが大きくなるとパフォーマンスが上昇し、0から遠ざかる。
0.80
This effect explains the reason why the trigger input set must have a very different distribution from the training data. この効果は、トリガー入力セットがトレーニングデータと全く異なる分布を持つ必要がある理由を説明する。 0.76
For DCGAN, the training input has a normal distribution of µ = 0, and setting c to 0 will not change the distribution, thus causing confusion between the normal input and trigger input. DCGANの場合、トレーニング入力はμ = 0の正規分布を持ち、cを0に設定すると分布が変化しないため、通常の入力とトリガー入力の間に混乱が生じます。 0.81
01020304050607080901 00% Sign Difference0306090120 150180210240270300FI D0102030405060708090 100%SignDifference0. 30.40.50.60.70.80.9S SIMSet5Set14BSD10001 02030405060708090100 % Sign Difference0.00.10.20 .30.40.50.60.70.80.9 1.0Relative MetricPer-pixel acc.Per-class acc.Class IoU 01020304040406080901 00% Sign difference 03060901201802102402 70300FID010204060809 0100%SignDifference0 .30.40.50.60.70.80.9 SSIMSet5Set14BSD1000 102040608090100%Sign difference0.00.10.20 .20.30.40.50.60.70.8 0.91.0Relative MetricPer-pixel acc.Per-class acc.Class IoU 0.21
英語(論文から抽出)日本語訳スコア
HHHHH n c -10 HHHH n c -10 0.81
-5 0 +5 +10 -5 0 +5 +10 0.80
5 10 15 26.05 0.961 28.35 0.958 25.51 0.954 5 10 15 26.05 0.961 28.35 0.958 25.51 0.954 0.75
26.37 0.960 27.49 0.953 26.85 0.945 26.37 0.960 27.49 0.953 26.85 0.945 0.43
276.36 0.367 332.88 0.338 316.78 0.343 276.36 0.367 332.88 0.338 316.78 0.343 0.43
25.98 0.953 26.18 0.956 27.27 0.951 25.98 0.953 26.18 0.956 27.27 0.951 0.43
26.19 0.958 27.11 0.956 26.24 0.953 26.19 0.958 27.11 0.956 26.24 0.953 0.43
Table 12: Effect of n and c to model’s performance in terms of FID (above) and the quality of generated watermark measured in SSIM (below). 表12: FID(上)とSSIM(下)で測定された生成された透かしの品質のモデルの性能に対するnとcの影響。 0.83
5. Discussion and Conclusion This paper illustrates a complete and robust ownership verification scheme for GANs in black-box and white-box settings. 5. 議論と結論 本稿では、ブラックボックスおよびホワイトボックス設定におけるGANの完全かつ堅牢な所有権検証スキームを示す。 0.72
While extensive experiment results are conducted for three representative variants i.e. 広範な実験結果は3つの代表的な変種(すなわち)に対して行われる。 0.56
DCGAN, SRGAN and CycleGAN, the formulation lay down is generic and can be applied to any GAN variants with generator networks as the essential component. DCGAN、SRGANおよびCycleGANの定式化は一般的で、発電機ネットワークが必須のコンポーネントであるあらゆるGAN変種に適用できます。 0.67
Empirical results showed that the proposed method is robust against removal and ambiguity attacks, which aim to either remove existing watermarks or embed counterfeit watermarks. 実験の結果,提案手法は,既存の透かしの除去や偽造透かしの埋め込みを目的とした除去・曖昧性攻撃に対して頑健であることが判明した。 0.59
It was also shown that the performance of the model’s original tasks (i.e. また、モデルのオリジナルのタスク(すなわち、)のパフォーマンスも示された。 0.71
image generation, super-resolution and style transfer) were not compromised. 画像生成、超解像度、スタイル転送)は妥協されなかった。 0.64
The importance of this work, in our view, can be highlighted by numerous disputes over IP infringements between giant and/or startup companies, which are now heavily investing substantial resources on developing new DNN models. 我々の見解では、この研究の重要性は、現在新しいdnnモデルの開発に多大なリソースを注ぎ込んでいる巨大企業とスタートアップ企業の間のip侵害に関する多くの論争によって強調される。 0.64
It is our wish that the ownership verification for GANs will provide technical solutions in discouraging plagiarism and, hence, reducing wasteful lawsuit cases. GANの所有権検証が盗作を阻止し、無駄な訴訟事件を減らす技術的ソリューションを提供することを願っています。 0.59
6. Appendix I - Overview of the Verification 6. Appendix I - 検証の概要 0.77
Process in Model Protection モデル保護のプロセス 0.80
Generally, the verification process as shown in Fig. 一般的に、図に示すように検証プロセス。 0.81
11, a suspicious online model will be first remotely queried through API calls using a specific input keys (e.g. 疑わしいオンラインモデルは、まず特定の入力キーを使用してAPI呼び出しを通じてリモートでクエリされる。 0.67
trigger set) that were initially selected to trigger the watermark information. 最初にウォーターマーク情報をトリガーするために選択されたトリガーセット)。 0.64
As such, this is a black-box verification where a final model prediction (e.g. したがって、これは最終的なモデル予測(例えば、ブラックボックス検証である。 0.80
for CNN model, the image classification results) is obtained. CNNモデルの場合、画像分類結果)が得られます。 0.77
This initial step is usually perform to collect evidence from everywhere so that an owner can sue a suspected party who used (i.e. この最初のステップは、通常、あらゆる場所から証拠を集めるために行われ、所有者が使用者(すなわち、使用者)を訴えることができる。 0.58
infringed) his/her models illegally. モデルを違法に侵害する。 0.63
Once the owner has sufficient evidence, a second verification process which is to extract watermark from the suspected model and compare if the watermark is from the owner. 所有者が十分な証拠を持っていると、疑わしいモデルから透かしを抽出し、透かしが所有者からあるかどうかを比較する第2の検証プロセス。 0.64
This process is a white-box verification, which means the owner needs to have to access the model physically, and usually this second step is go through law enforcement. このプロセスはホワイトボックスの検証であり、つまり所有者は物理的にモデルにアクセスする必要があり、通常この2番目のステップは法執行機関を通過する。 0.73
Figure 11: An overview of general watermarking scheme 2-steps verification process. 図11:一般的な透かしスキームの概要2ステップ検証プロセス。 0.83
In Step 1, it can be noticed that the protected model is trained to deliberately output specific (incorrect) labels for a particular set of inputs T that is known as the ”trigger set”. ステップ1では、保護されたモデルが「トリガーセット」として知られる特定の入力Tの特定の(間違った)ラベルを意図的に出力するように訓練されていることに気づく。 0.79
In Step 2, the watermark is extracted from the model to proof ownership. ステップ2では、透かしをモデルから抽出し、所有権を証明します。 0.62
7. Appendix II - Extension to other generative 7. Appendix II - 他のジェネレーティブの拡張 0.87
models - Variational Autoencoder モデル - 可変オートエンコーダ 0.79
As mentioned in the main paper, Section 3, line 246, our proposed framework can be easily extended to other deep generative models with trivial modification. 本論文第3節第246節で述べたように,提案するフレームワークは,自明な修正を施した他の深部生成モデルにも容易に拡張できる。 0.75
Here we show an example with Variational Autoencoder (VAE). ここでは、変分オートエンコーダ(VAE)の例を示す。 0.77
In general, VAE consists of 2 parts which are the probabilistic encoder, qψ(z|x) and the generative model, pθ(x, z). 一般に、VAE は確率エンコーダ q (z|x) と生成モデル pθ(x, z) の 2 つの部分からなる。 0.74
The Encoder approximate the posterior in the form of multivariate Gaussian. エンコーダは、多変量ガウスの形で後方を近似する。 0.65
The loss of a VAE is given below: VAEの損失は以下の通りである。 0.77
(cid:0)1 + log(σ2) − µ2 − σ2(cid:1) + log(pθ(x|z)) (cid:0)1 + log(σ2) − μ2 − σ2(cid:1) + log(pθ(x|z)) 0.84
LVAE = 1 2 LVAE = 1 2 0.85
(12) where z = µ + σ (cid:12)  and  ∼ N (0, I). (12) ここで z = μ + σ (cid:12) と σ は N (0, I) である。 0.88
The input to the generative model is the posterior, z which is either from the probabilistic encoder or sampled from a multivariate Gaussian distribution, N (z; µ, σI). 生成モデルへの入力は、確率的エンコーダから、あるいは多変量ガウス分布 n (z; μ, σi) からサンプリングされた後列 z である。 0.73
Since z is a vector of n dimension and the output is an image (i.e. z は n 次元のベクトルであり、出力はイメージである(すなわち)。 0.77
similar to DCGAN), we can use the exact same transformation functions defined in Section 3.1.1 (DCGAN) in the main paper, to create our trigger input using Eq. DCGANと同様、メインペーパーのセクション3.1.1(DCGAN)で定義される全く同じ変換関数を使って、Eqを使ってトリガ入力を作成することができる。 0.77
1 and the target using Eq. 1およびEqを用いたターゲット。 0.86
2, respectively. Thus, the overall new objective is shown as: 2であった。 したがって、全体的な新しい目的は次のようになります。 0.61
LVAEw = LVAE + λLw LVAEw = LVAE + λLw 0.99
(13) 7.1. Experimental results (13) 7.1. 実験結果 0.79
For the VAE experiment, we set λ = 0.1 unlike other GAN experiments in the main paper as the KLD loss and the reconstruction loss are in very small scale. VAE実験では,KLD損失と復元損失が極めて小さいため,本論文の他のGAN実験とは異なりλ = 0.1と設定した。 0.76
We perform the experiment on the public dataset - CIFAR10, and the results are shown in Table 13. 公開データセットであるCIFAR10で実験を行い、結果を表13に示します。 0.71
9 9 0.85
英語(論文から抽出)日本語訳スコア
VAE VAEw VAEws VAE VAEw VAEws 0.85
FID 229.6874 ± 3.80 226.8893 ± 0.86 231.1154 ± 0.63 FID 229.6874 ± 3.80 226.8893 ± 0.86 231.1154 ± 0.63 0.69
Qwm - 0.9973 ± 0.014 0.9964 ± 0.014 Qwm - 0.9973 ± 0.014 0.9964 ± 0.014 0.75
Table 13: VAE results on CIFAR10. 表13:CIFAR10のVAE結果。 0.76
z ∈ R128 N (0,1) z ∈ R128 N (0,1) 0.86
dense → Mg × Mg × 512 密度 → Mg × Mg × 512。 0.90
4 × 4, stride=2 deconv. 4 × 4, stride=2 deconv。 0.91
BN 256 ReLU 4 × 4, stride=2 deconv. BN 256 ReLU 4 × 4, stride=2 deconv。 0.97
BN 128 ReLU 4 × 4, stride=2 deconv. BN 128 ReLU 4 × 4, stride=2 deconv。 0.96
BN 64 ReLU BN 64 ReLU 0.85
3 × 3, stride=2 conv. 3 × 3, stride=2 conv。 0.92
3 Tanh Table 14: Generator, Mg = 4 for CIFAR10 and Mg = 8 for CUB-200. 3タン 表14:CIFAR10の発電機、Mg = 4、CUB-200のMg = 8。 0.70
RGB image x ∈ RM×M×3 RGB画像 x ∈ RM×M×3 0.99
3 × 3, stride=1 conv. 3 × 3, stride=1 conv。 0.90
64 LeakyReLU 4 × 4, stride=2 conv. 64 LeakyReLU 4 × 4, stride=2 conv。 0.95
64 LeakyReLU 3 × 3, stride=1 conv. 64 LeakyReLU 3 × 3, stride=1 conv。 0.95
128 LeakyReLU 4 × 4, stride=2 conv. 128 LeakyReLU 4 × 4, stride=2 conv。 0.95
128 LeakyReLU 3 × 3, stride=1 conv. 128 LeakyReLU 3 × 3, stride=1 conv。 0.94
256 LeakyReLU 4 × 4, stride=2 conv. 256 LeakyReLU 4 × 4, stride=2 conv。 0.95
256 LeakyReLU 3 × 3, stride=1 conv. 256 LeakyReLU 3 × 3, stride=1 conv。 0.95
512 LeakyReLU 512 LeakyReLU 0.85
dense → 1 Table 15: Discriminator, M = 32 for CIFAR10 and M = 64 for CUB-200. dense → 1 表15:識別器、CIFAR10はM = 32、CUB-200はM = 64。 0.80
8. Appendix III - Network Architecture 8.1. 8. Appendix III - Network Architecture 8.1。 0.85
DCGAN Table 14 - 15 show the standard CNN models for CIFAR10 and CUB-200 used in our experiments on image generation (i.e. DCGAN 表14 - 15は、CIFAR10およびCUB-200の標準CNNモデルを示しています。 0.71
DCGAN). The slopes of all LeakyReLU functions in the networks are set to 0.1. DCGAN)。 ネットワーク内のすべての LeakyReLU 関数の勾配は 0.1 に設定されている。 0.73
8.2. CycleGAN 8.2. CycleGAN 0.78
Table 16 - 17 show the architecture for CycleGAN. 表16 - 17は、cycleganのアーキテクチャを示します。 0.75
9. Appendix IV - Network Complexity 9. Appendix IV - ネットワーク複雑性 0.89
Table 18 shows the computational complexity as a result of the additional of our regularization terms on GANs model. 表18は、GANsモデルにおける正規化項の追加の結果、計算複雑性を示す。 0.78
We observe that adding a new regularization term to embed watermark and signature has no effect to the inference time. 透かしと署名を埋め込むための新しい正規化用語を追加することは、推論時間に影響を与えないことを観察する。 0.64
As for training time, it is expected that it has an impact on training time but the effect is very minor. トレーニング時間に関しては、トレーニング時間に影響を与えることが予想されますが、効果は非常に小さいです。 0.75
We believe that it is the computational cost at the inference stage that is required to be minimized, since network inference is ネットワーク推論を最小化する必要があるのは、推論段階での計算コストであると考えています。 0.75
Conv.IN.ReLU Conv.IN.ReLU Conv.IN.ReLU ResidualBlock ResidualBlock ResidualBlock ResidualBlock ResidualBlock ResidualBlock Deconv.In.ReLU 3 × 3 Deconv.In.ReLU 3 × 3 7 × 7 Conv.IN.ReLU Conv.IN.ReLU ResidualBlock ResidualBlock ResidualBlock ResidualBlock ResidualBlock Deconv.In.ReLU 3 × 3 Deconv.In.ReLU 3 × 3 7 × 7 0.70
Conv.Tanh - Conv.Tanh - 0.72
- - RGB Image 7 × 7 3 × 3 3 × 3 - - RGB Image 7 × 7 3 × 3 3 × 3 0.85
stride=1 stride=2 stride=2 stride=1 stride=2 stride=2 0.47
padding=3 padding=1 padding=1 padding (複数形 paddings) 0.45
stride=2 stride=2 stride=1 stride=2 stride=2 stride=1 0.47
padding=1 padding=1 padding=3 padding=1 padding=1 padding=3 0.47
128 × 128 × 3 128 × 128 × 64 64 × 64 × 128 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 64 × 64 × 128 128 × 128 × 64 128 × 128 × 3 128 × 128 × 3 128 × 128 × 64 64 × 64 × 128 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 32 × 32 × 256 64 × 64 × 128 128 × 128 × 64 128 × 128 × 3 0.85
Table 16: ResNet Generator architecture of CycleGAN. 表16: CycleGAN の ResNet Generator アーキテクチャ。 0.75
Reflection Padding was used and all normalization layers are Instance Normalization according to the author’s work. 反射パディングが使用され、すべての正規化層は著者の作品に従ってインスタンス正規化です。 0.63
RGB Image 4 × 4 Conv.lReLU Conv.IN.lReLU 4 × 4 Conv.IN.lReLU 4 × 4 Conv.IN.lReLU 4 × 4 4 × 4 RGB Image 4 × 4 Conv.lReLU Conv.IN.lReLU 4 × 4 Conv.IN.lReLU 4 × 4 Conv.IN.lReLU 4 × 4 4 × 4 0.72
stride=2 stride=2 stride=2 stride=2 stride=2 stride=2 stride=2 stride=2 stride=2 stride=2 0.44
Conv padding=1 padding=1 padding=1 padding=1 padding=1 コンヴ padding=1 padding=1 padding=1 padding=1 padding=1 0.48
128 × 128 × 3 64 × 64 × 64 32 × 32 × 128 16 × 16 × 256 8 × 8 × 512 4 × 4 × 1 128 × 128 × 3 64 × 64 × 64 32 × 32 × 128 16 × 16 × 256 8 × 8 × 512 4 × 4 × 1 0.85
Table 17: 70 × 70 PatchGAN [34] was used as Discriminator of CycleGAN. 表17: 70×70 PatchGAN [34]をCycleGANの判別器として使用した。 0.70
Leaky ReLU with slope of 0.2 was used except the last layer. 最後の層を除いて、0.2の傾斜を有する漏洩ReLUが使用された。 0.55
Relative Time DCGAN DCGANw DCGANws SRGAN SRGANw SRGANws CycleGAN CycleGANw CycleGANws 相対時間 DCGAN DCGANws SRGANw SRGANws CycleGAN CycleGANw CycleGANws 0.69
1.00 1.25 1.26 1.00 1.19 1.23 1.00 1.15 1.17 1.00 1.25 1.26 1.00 1.19 1.23 1.00 1.15 1.17 0.42
Table 18: The impact of the framework to the training time. 表18: トレーニング時間に対するフレームワークの影響。 0.59
The values in the table are relative to the baseline model. テーブル内の値はベースラインモデルと相対的です。 0.71
going to be performed frequently by the end users. エンドユーザーによって頻繁に実行されます。 0.77
While extra costs at the training stage, on the other hand, are not prohibitive since they are performed by the network owners, with the motivation to protect the model ownerships. 一方、トレーニング段階での余分なコストは、ネットワーク所有者によって実行されるため、モデルの所有権を保護する動機を持つため、禁止されません。 0.64
10. Appendix V - Extended Results 10.1. 10. Appendix V - 拡張結果10.1。 0.80
DCGAN Fig. DCGAN フィギュア。 0.64
12 is the extended results of the original task of DCGAN (i.e. 12は、DCGAN(すなわち、元のタスク)の拡張結果である。 0.72
image synthesis), as well as three different types of watermark logos with CIFAR10 dataset when a trigger input is provided, while Fig. 画像合成)に加えて、トリガー入力が提供されるときにCIFAR10データセットを備えた3種類の透かしロゴ、およびFig。 0.67
13 illustrates the results with 13は結果を示します 0.89
10 10 0.85
英語(論文から抽出)日本語訳スコア
Figure 12: CIFAR10: First row is the sample watermark logo. 図12:CIFAR10:最初の行はサンプル透かしのロゴです。 0.78
Second row is the images generated by DCGAN G(z) (i.e. 第2行はDCGAN G(z) によって生成される画像である。 0.79
original task) and the last row shows the watermarked images if a trigger input is provided to the protected DCGAN model where each of them is a different protected model trained on different response output set. オリジナルタスク)と最後の行は、それぞれ異なる応答出力セットでトレーニングされた異なる保護モデルである保護dcganモデルにトリガー入力が提供された場合に、透かし付き画像を表示する。 0.82
Figure 13: CUB-200: First row is the images generated by DCGAN G(z) (i.e. 図13: CUB-200: 最初の行はDCGAN G(z)で生成された画像です。 0.87
original task) and the second row shows the watermarked images if a trigger input is provided to the protected DCGAN model where each of them is a different protected model trained on different response output set. オリジナルタスク)と第2行は、それぞれ異なる応答出力セットでトレーニングされた異なる保護モデルである保護dcganモデルにトリガー入力が提供された場合に、透かし付き画像を表示する。 0.83
CUB-200 dataset. CUB-200データセット。 0.60
10.2. SRGAN 10.2. SRGAN 0.78
For SRGAN, the extended results are shown in Fig. SRGAN の場合、拡張結果は Fig で示される。 0.76
14. 10.3. CycleGAN 14. 10.3. CycleGAN 0.80
For CycleGAN, the extended results are shown in Fig. CycleGAN の場合、拡張結果は Fig で示される。 0.77
15. 10.4. Appendix VI - Robustness against removal 15. 10.4. Appendix VI - 削除に対するロバスト性 0.78
attack Fine-tuning. Fig. 攻撃 微調整。 フィギュア。 0.55
16 shows the qualitative results for Section 4.5, line 698 that our proposed method is robust against fine-tuning attack as highlighted in Table 7. 16は第4.5節698行の定性的な結果を示し,提案手法は表7に示すように微調整攻撃に対して堅牢であることを示す。 0.67
We can clearly see that the watermark (on the top left corner) remains intact after fine-tuning. 微調整後の透かし(左上隅)がそのまま残っていることは明らかです。 0.59
10.5. Resilience against ambiguity attack 10.5. 曖昧性攻撃に対する弾力性 0.66
This section shows the full results of applying sign loss (Eq. 本項では、符号損失(Eq)の完全な結果を示す。 0.64
11 in the main paper) to embed a signature into BNscale, γBN . 11) 署名をbnscale, γbn に埋め込む。 0.38
The implementation details is given in Section 3.2 of the main paper. 実装の詳細は本書の3.2節に記載されている。 0.52
Herein, we show the example of how the unique key ”EXAMPLE” is embedded into our DCGAN’s batch normalization weight. ここでは、DCGANのバッチ正規化重量にユニークなキー「EXAMPLE」が埋め込まれている例を示します。 0.67
Table 19 shows how to decode the trained scale, γBN to retrieve the signature embedded. 表19は、トレーニングされたスケール、γBNをデコードして埋め込んだシグネチャを取得する方法を示しています。 0.51
Also, please note that even that there are 2 ”E”, their γBN are different from each other. また、2つの「E」がある場合でも、γBNは互いに異なることに注意してください。 0.81
Fig. 17 - 18 are the complete results to complement Figure 9 - 10 in Section 4.6. フィギュア。 17 - 18は、セクション4.6の図9 - 10を補完する完全な結果です。 0.58
It can be clearly visualize from Fig. 図から明確に視覚化できます。 0.68
18 that the quality of the generated SR-images is very 18 生成したSR画像の品質が非常に高い。 0.78
11 poor where obvious artefact can be observed even the signature signs are modified at only 10%. 11 署名サインがわずか10%で修正されている場合でも、明らかなアーティファクトが観察できる貧しい。 0.75
With this, we can deduce that the scale signs (Eq. これにより、スケールサイン(eq)を推測することができる。 0.67
11) enforced in this way remain rather persistent against ambiguity attacks. 11) この方法で強制されることは、あいまいな攻撃に対してかなり持続的である。 0.53
11. Appendix VII - Ablation Study 11.1. 11. 付録VII - アブレーション研究11.1。 0.76
Coefficient λ. In this section, qualitatively, we illustrate in Fig. λ の係数。 このセクションでは、定性的に、図で説明します。 0.65
19 the effects of different λ settings (i.e. 19 異なるλ設定(すなわち)の効果。 0.74
from 0.1 → 10) on the original GAN model performance against the quality of the generated watermark (this is similar to Table 10) with CIFAR10 dataset. 0.1 → 10) から生成した透かしの品質に対する元の GAN モデルの性能(表10と似ている)を CIFAR10 データセットで比較した。 0.81
From visual inspection on Fig. 19, it is hard to deduce that which λ is an ideal choice. 図の視覚検査から。 19 は λ が理想的な選択であることを示すのは困難である。 0.75
In this paper, based on the quantitative results (FID vs. SSIM) in Table 10, we set λ = 1.0. 本稿では,テーブル10における定量結果(FID vs. SSIM)に基づいてλ = 1.0とする。 0.90
11.2. n vs. c. 11.2.n vs. C. 0.64
In this section, qualitatively, we illustrate in Fig. このセクションでは、定性的に、図で説明します。 0.53
2021 different n and c settings to understand the tradeoffs between the original GAN model performance against the quality of the generated watermark (this is similar to Table 11) with CIFAR10 dataset. 2021 オリジナルのganモデルのパフォーマンスと生成したウォーターマークの品質(これはテーブル11に似ている)とcifar10データセットとのトレードオフを理解するために異なる n と c の設定。 0.78
From here, it can be noticed that it is, however, very hard to distinguish from a naked eye point of view which setting is having the best tradeoffs with the exception that it is very clear that setting c = 0 is not ideal. ここからは、c = 0の設定が理想的ではないことが非常に明らかであることを除いて、設定が最高のトレードオフを持っている裸眼の視点から区別することは非常に困難であることに気づくことができます。 0.80
This is because from Fig. これはFigのせいです。 0.55
21a-c, we can notice that the generated images are all almost black (i.e. 21a-cでは、生成された画像がすべてほぼ黒色であることに気付く。 0.66
for n = 5, 10, 15). n = 5, 10, 15 の場合)。 0.84
This phenomenon happens because the training input of DCGAN has a normal distribution of この現象はDCGANのトレーニング入力が正規分布であるため起こる。 0.77
英語(論文から抽出)日本語訳スコア
Figure 14: The first column shows the trigger input xω to SRGAN. 図14: 最初の列はsrganへのトリガー入力xωを示す。 0.77
Next three columns are the response output G(xω) when the trigger input is provided to the protected generators . 次の3つの列は、保護されたジェネレータにトリガー入力が提供されるときの応答出力G(xω)である。 0.65
Figure 15: Image pairs from CycleGAN models trained on Cityscapes datasets, respectively 図15:cityscapesデータセットでトレーニングされたcycleganモデルからのイメージペア 0.79
µ = 0, therefore it is conflicting with the trigger input which is also set as c = 0. μ = 0なので、c = 0としても設定されるトリガー入力と相反する。 0.78
As a summary, trigger input set must have a very different distribution from the training data. 要約すると、トリガー入力セットはトレーニングデータとは全く異なる分布を持つ必要がある。 0.76
In this paper, based on the quantitative results (FID vs. SSIM) reported in Table 7, we conclude that setting n = 5 and c = −10 is the most ideal. 本稿では, 表7で報告された定量的結果(FID vs. SSIM)では、n = 5 と c = −10 が最も理想的であると結論付けている。 0.66
12 12 0.85
英語(論文から抽出)日本語訳スコア
γ -0.50 0.46 -0.42 -0.64 -0.25 0.25 -0.61 0.57 γ -0.50 0.46 -0.42 -0.64 -0.25 0.25 -0.61 0.57 0.60
E +/+++ bit 0 1 0 0 0 1 0 1 E +/+++ bit 0 1 0 0 0 1 0 1 0.68
γ -0.22 0.40 -0.26 0.54 0.43 -0.14 -0.45 -0.34 γ -0.22 0.40 -0.26 0.54 0.43 -0.14 -0.45 -0.34 0.60
X +/++ +- bit 0 1 0 1 1 0 0 0 X +/++ +- bit 0 1 0 1 1 0 0 0 0.76
γ -0.49 0.39 -0.44 -0.17 -0.15 -0.52 -0.44 0.35 γ -0.49 0.39 -0.44 -0.17 -0.15 -0.52 -0.44 0.35 0.60
A +/++ bit 0 1 0 0 0 0 0 1 A +/++ bit 0 1 0 0 0 0 0 1 0.72
γ -0.24 0.39 -0.19 -0.36 0.58 0.24 -0.18 0.55 γ -0.24 0.39 -0.19 -0.36 0.58 0.24 -0.18 0.55 0.61
M +/++ ++ bit 0 1 0 0 1 1 0 1 M +/++ ++ bit 0 1 0 0 1 1 0 1 0.72
γ -0.17 0.56 -0.17 0.65 -0.53 -0.56 -0.20 -0.40 γ -0.17 0.56 -0.17 0.65 -0.53 -0.56 -0.20 -0.40 0.60
P +/++- bit 0 1 0 1 0 0 0 0 P+/++- bit 0 1 0 1 0 0 0 0 0.83
γ -0.44 0.52 -0.48 -0.62 0.37 0.49 -0.47 -0.55 γ -0.44 0.52 -0.48 -0.62 0.37 0.49 -0.47 -0.55 0.60
L +/++ +- bit 0 1 0 0 1 1 0 0 L +/++ +- bit 0 1 0 0 1 1 0 0 0.76
γ -0.23 0.52 -0.28 -0.43 -0.51 0.22 -0.26 0.32 γ -0.23 0.52 -0.28 -0.43 -0.51 0.22 -0.26 0.32 0.60
E +/+++ bit 0 1 0 0 0 1 0 1 E +/+++ bit 0 1 0 0 0 1 0 1 0.68
Table 19: Example of the trained batch normalization weight γ of DCGANws using the word ”EXAMPLE” as an unique key. 表19: "EXAMPLE" という単語をユニークなキーとして用いたDCGANwsの訓練済みバッチ正規化重量 γ の例。 0.78
We use 8-bits to represent each character. 各文字を8ビットで表現する。 0.67
(a) DCGAN (b) SRGAN (a)DCGAN (b)SRGAN 0.80
(c) CycleGAN Figure 16: Fine-tuning: For every pair, from left to right - G(xω) before and after fine-tuning. (c)サイクルガン 図16: 微調整: すべてのペアに対して、微調整前後の左から右へ、g(xω) 0.74
It shows that our proposed method is robust against removal attack (i.e. 提案手法は, 除去攻撃に対して堅牢であることを示した。 0.64
finetuning) as it is clearly noticed that the embedded watermark (top left corner) is still remained intact for DCGAN, SRGAN and CycleGAN. DCGAN、SRGAN、CycleGANには、埋め込まれた透かし(左上隅)がそのまま残されていることがはっきりとわかるように、微調整)。
訳抜け防止モード: 微調整) 明らかに気付くように 埋め込まれた透かし(左上のコーナー)はDCGAN、SRGANおよびCycleGANのためにまだそのままです。
0.67
References [1] Y. Uchida, Y. Nagai, S. Sakazawa, and S. Satoh, “Embedding watermarks into deep neural networks,” in Proceedings of the 2017 ACM on International Conference on Multimedia Retrieval, 2017, pp. 資料 [1] y. uchida, y. nagai, s. sakazawa, s. satoh, "embedding watermarks into deep neural networks", in the proceedings of the 2017 acm on international conference on multimedia retrieval, 2017 pp。 0.76
269–277. 1, 2, 3 269–277. 1, 2, 3 0.78
[2] J. Zhang, Z. Gu, J. Jang, H. Wu, M. P. Stoecklin, H. Huang, and I. Molloy, “Protecting intellectual property of deep neural networks with watermarking,” [2] J. Zhang, Z. Gu, J. Jang, H. Wu, M. P. Stoecklin, H. Huang, I. Molloy, “深部ニューラルネットワークの知財を透かしで保護する”。 0.88
13 in Proceedings of the 2018 on Asia Conference on Computer and Communications Security (ASIACCS), 2018, pp. 13 In Proceedings of the 2018 on Asia Conference on Computer and Communications Security (ASIACCS) 2018, pp。 0.80
159–172. 1, 2 159–172. 1, 2 0.78
[3] E. Le Merrer, P. Perez, and G. Tr´edan, “Adversarial frontier stitching for remote neural network watermarking,” Neural Computing and Applications, vol. 3] E. Le Merrer, P. Perez, and G. Tr'edan, “Adversarial Frontier stitching for Remote Neural Network Watermarking”, Neural Computing and Applications, vol.3(日本語版記事・英語) 0.74
32, no. 13, pp. 32 だめだ 13、p。 0.58
9233–9244, 2020. 9233–9244, 2020. 0.84
1, 2 [4] Y. Adi, C. Baum, M. Cisse, B. Pinkas, and J. Keshet, “Turning your weakness into a strength: Watermarking deep neural networks by backdooring,” in 27th USENIX Security Symposium (USENIX), 2018. 1, 2 Y. Adi, C. Baum, M. Cisse, B. Pinkas, J. Keshet, “Turning your weak into a strength: Watermarking Deep Neural Network by backdooring”. 第27回USENIX Security Symposium (USENIX) 2018. 0.83
1, 2 [5] J. Zhang, D. Chen, J. Liao, W. Zhang, G. Hua, and N. Yu, “Passport-aware normalization for deep model protection,” in NeurIPS, 2020. 1, 2 J. Zhang, D. Chen, J. Liao, W. Zhang, G. Hua, N. Yu, “Passport-aware normalization for Deep Model Protection” in NeurIPS, 2020 0.83
1, 2 [6] A. Creswell, T. White, V. Dumoulin, K. Arulkumaran, B. Sengupta, and A. 1, 2 6] A. Creswell、T. White、V. Dumoulin、K. Arulkumaran、B. Sengupta、A。 0.84
A. Bharath, “Generative adversarial networks: An overview,” IEEE Signal Processing Magazine, vol. A. Bharath, “Generative adversarial network: An overview”, IEEE Signal Processing Magazine, vol. の略。 0.89
35, pp. 53–65, 2018. 35, pp。 53–65, 2018. 0.82
1, 2 [7] H. Chen, B. Darvish Rohani, and F. Koushanfar, “DeepMarks: A Digital Fingerprinting Framework for Deep Neural Networks,” arXiv:1804.03648, Apr. 1, 2 7] H. Chen, B. Darvish Rohani, F. Koushanfar, "DeepMarks: A Digital Fingerprinting Framework for Deep Neural Networks", arXiv:1804.03648, Apr。 0.88
2018. 1, 2 2018. 1, 2 0.85
[8] B. Darvish Rohani, H. Chen, and F. Koushanfar, “DeepSigns: A Generic Watermarking Framework for IP Protection of Deep Learning Models,” arXiv:1804.00750, Apr. ArXiv:1804.00750, Apr. [8] B. Darvish Rohani, H. Chen, F. Koushanfar, "DeepSigns: A Generic Watermarking Framework for IP Protection of Deep Learning Models" (英語) 0.86
2018. 1, 2 2018. 1, 2 0.85
[9] E. Nezhadarya, Z. J. Wang, and R. K. Ward, “Robust image watermarking based on multiscale gradient direction quantization,” IEEE Transactions on Information Forensics and Security, vol. IEEE Transactions on Information Forensics and Security, vol.[9]E. Nezhadarya, Z. J. Wang, R. K. Ward, “Robust image watermarking based on multiscale gradient direction Quantization”. IEEE Transactions on Information Forensics and Security. 0.80
6, no. 4, pp. 6、いいえ。 4, pp。 0.76
1200– 1213, 2011. 1200– 1213, 2011. 0.99
2 [10] H. Fang, W. Zhang, H. Zhou, H. Cui, 2 10] H. Fang、W. Zhang、H. Zhou、H. Cui。 0.86
and N. Yu, “Screen-shooting resilient watermarking,” IEEE Transactions on Information Forensics and Security, vol. そしてN. Yu, “Screen- shooting resilient watermarking”, IEEE Transactions on Information Forensics and Security, vol. 0.88
14, no. 6, pp. 14だ 6, pp。 0.58
1403–1418, 2019. 1403–1418, 2019. 0.84
2 2 0.85
英語(論文から抽出)日本語訳スコア
Figure 17: Ambiguity attack - DCGAN: It can be seen that the quality of the image drop significantly when the sign of the γBN of DCGANws is modified. 図17:Ambiguity attack - DCGAN:DCGANwsのγBNの符号が変更されると、画像の品質が大幅に低下することがわかります。 0.74
Left to right: The amount (from 0% to 100%) of the sign is being modified. 左から右:サインの量(0%から100%)が変更されています。 0.68
(a) Comic (b) Baboon (a)コミック (b)バブーン 0.71
(c) Lenna Figure 18: Ambiguity attack - SRGAN: It can be seen that the quality of the images drop significantly when the sign of SRGANws is being modified. (c)レナ 図18:Ambiguity attack - SRGAN:SRGANwsのサインが変更されている場合、画像の品質が大幅に低下することを見ることができます。 0.76
Left to right: The amount (from 10% to 100%) of the sign is being modified. 左から右:サインの量(10%から100%)が変更されています。 0.69
[11] H. Mareen, 11] H. Mareen, 0.80
architecture J. De Praeter, G. Van Wallendael, and P. Lambert, for uncompressed-domain watermarked videos,” IEEE Transactions on Information Forensics and Security, vol. 建築 J。 IEEE Transactions on Information Forensics and Security, vol.“De Praeter, G. Van Wallendael, and P. Lambert, for uncompressed- domain watermarked video”[原文へ]。 0.80
14, no. 6, pp. 14だ 6, pp。 0.58
1432–1444, 2019. 1432–1444, 2019. 0.84
2 “A scalable 2 「スケーラブル」 0.68
[12] M. Asikuzzaman and M. R. Pickering, “An overview of digital video watermarking,” IEEE Transactions on Circuits and Systems for Video Technology, vol. IEEE Transactions on Circuits and Systems for Video Technology, vol.[12] M. Asikuzzaman, M. R. Pickering, “An overview of digital video watermarking, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 0.78
28, no. 9, pp. 28歳。 9, pp。 0.65
2131–2153, 2018. 2131–2153, 2018. 0.84
2 [13] M. Hwang, J. Lee, M. Lee, and H. Kang, “Svd-based adaptive qim watermarking on stereo audio signals,” IEEE Transactions on Multimedia, vol. 2 IEEE Transactions on Multimedia, vol.[13] M. Hwang, J. Lee, M. Lee, H. Kang, “Svdベースの適応カイム透かしはステレオオーディオ信号で行う。 0.84
20, no. 1, pp. 20、いいえ。 1、p。 0.70
45–54, 2018. 45–54, 2018. 0.84
2 proach,” IEEE Transactions on Information Forensics and Security, vol. 2 IEEE Transactions on Information Forensics and Security, vol.”[原文へ]。 0.79
12, no. 4, pp. 12、いいえ。 4, pp。 0.76
840–852, 2017. 840–852, 2017. 0.84
2 [15] A. Nadeau and G. Sharma, “An audio watermark designed for efficient and robust resynchronization after analog playback,” IEEE Transactions on Information Forensics and Security, vol. 2 IEEE Transactions on Information Forensics and Security, vol.[15] A. Nadeau and G. Sharma, “アナログ再生後の効率的で堅牢な再同期のために設計されたオーディオ透かし”。 0.85
12, no. 6, pp. 12、いいえ。 6, pp。 0.76
1393–1405, 2017. 1393–1405, 2017. 0.84
2 [16] Z. Lin, F. Peng, and M. Long, “A low-distortion reversible watermarking for 2d engineering graphics based on region nesting,” IEEE Transactions on Information Forensics and Security, vol. 2 IEEE Transactions on Information Forensics and Security, vol.[16] Z. Lin, F. Peng, M. Long, “A Low-distortion reversible watermarking for 2d engineering graphics based on region nesting”. IEEE Transactions on Information Forensics and Security. 0.83
13, no. 9, pp. 13、いいえ。 9, pp。 0.76
2372–2382, 2018. 2372–2382, 2018. 0.84
2 [14] Y. Erfani, R. Pichevar, and J. Rouat, “Audio watermarking using spikegram and a two-dictionary ap- 2 Y. Erfani, R. Pichevar, J. Rouat, “Audio watermarking using spikegram and a two-dictionary ap” 0.84
[17] G. Jia and M. Potkonjak, “Watermarking deep neural networks for embedded systems,” in IEEE/ACM Inter- 17] G. Jia and M. Potkonjak, "Watermarking Deep Neural Network for embedded systems" in IEEE/ACM Inter- 0.92
14 14 0.85
英語(論文から抽出)日本語訳スコア
(a) λ = 0.1 (a)λ = 0.1 0.91
(b) λ = 0.5 (b)λ = 0.5 0.91
(c) λ = 1.0 (c)λ = 1.0 0.91
Figure 19: Effects of different λ to original model performance (top) and quality of generated watermark (bottom). 図19: 異なるλがオリジナルのモデルの性能(トップ)と生成されたウォーターマークの品質に及ぼす影響。 0.87
(d) λ = 5.0 (d)λ = 5.0 0.91
(e) λ = 10.0 (e)λ = 10.0 0.91
(a) n = 5 ; c = −10 (a) n = 5 ; c = −10 0.93
(b) n = 10 ; c = −10 (b) n = 10 ; c = −10 0.93
(c) n = 15 ; c = −10 (c) n = 15 ; c = −10 0.93
(d) n = 5 ; c = −5 (d) n = 5 ; c = −5 0.93
(e) n = 10 ; c = −5 (e) n = 10 ; c = −5 0.93
(f) n = 15 ; c = −5 (f) n = 15; c = −5 0.92
Figure 20: Effects of different n and c to original model performance (top) and quality of generated watermark (bottom) (cont. 図20:nとcの違いがオリジナルのモデル性能(トップ)と生成された透かし(ボットム)の品質に及ぼす影響。 0.86
in Fig. 21). national Conference on Computer-Aided Design (ICCAD), 2018, pp. 図1。 21). National Conference on Computer-Aided Design (ICCAD) 2018, pp。 0.75
1–8. 2 [18] L. Fan, K. W. Ng, and C. S. Chan, “Rethinking deep neural network ownership verification: Embedding passports to defeat ambiguity attacks,” in NeurIPS, 2019, pp. 1–8. 2 He18] L. Fan, K. W. Ng, C. S. Chan, “Rethinking Deep Neural Network ownership confirmed: Embedding Passports to defeat ambiguity attack”, NeurIPS, 2019, pp。 0.78
4714–4723. 4714–4723. 0.71
2, 3, 5 [19] S.-M. Mun, S.-H. Nam, H.-U. 2, 3, 5 [19]S.-M. Mun,S.-H. Nam,H.-U. 0.77
Jang, D. Kim, and H.K. Jang, D. Kim, H.K. 0.90
Lee, “A robust blind watermarking using convolutional neural network,” arXiv:1704.03248, 2017. Lee, “A robust blind watermarking using convolutional neural network” arXiv:1704.03248, 2017 0.91
3 [20] V. Vukoti´c, V. Chappelier, and T. Furon, “Are deep neural networks good for blind image watermarking?” in International Workshop on Information Forensics and Security (WIFS), 2018, pp. 3 V. Vukoti ́c, V. Chappelier, T. Furon, “Are Deep Neural Network for blind image watermarking?” in International Workshop on Information Forensics and Security (WIFS, 2018, pp。 0.80
1–7. 3 [22] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, “Generative adversarial nets,” in NeurIPS, 2014, pp. 1–7. 3 22] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio, “Generative adversarial nets” in NeurIPS, 2014 pp。 0.83
2672–2680. 2672–2680. 0.71
3 [23] A. Radford, L. Metz, and S. Chintala, “Unsupervised representation learning with deep convolutional generative adversarial networks,” arXiv:1511.06434, 2015. 3 A. Radford, L. Metz, and S. Chintala, “Unsupervised representation learning with deep convolutional generative adversarial network” arXiv:1511.06434, 2015. 0.87
3 [24] C. Ledig, L. Theis, F. Husz´ar, J. Caballero, A. Cunningham, A. Acosta, A. Aitken, A. Tejani, J. Totz, Z. Wang et al., “Photo-realistic single image superresolution using a generative adversarial network,” in CVPR, 2017, pp. 3 C. Ledig, L. Theis, F. Husz ́ar, J. Caballero, A. Cunningham, A. Acosta, A. Aitken, A. Tejani, J. Totz, Z. Wang et al.,"Photo-realistic single image super resolution using a generation adversarial network" in CVPR, 2017 pp。 0.89
4681–4690. 4681–4690. 0.71
3, 4, 6 [21] J. Zhu, R. Kaplan, J. Johnson, and L. Fei-Fei, “Hidden: Hiding data with deep networks,” in ECCV, 2018, pp. 3, 4, 6 21] J. Zhu, R. Kaplan, J. Johnson, L. Fei-Fei, “Hidden: Hiding data with Deep Network” in ECCV, 2018 pp。 0.83
682–697. 3 682–697. 3 0.78
[25] J.-Y. Zhu, T. Park, P. Isola, and A. [25]J-Y。 Zhu, T. Park, P. Isola, A。 0.79
A. Efros, “Unpaired image-to-image translation using cycle-consistent adversarial networks,” in ICCV, 2017. A. Efros, "Unpaired image-to-image translation using cycle-consistent adversarial network" in ICCV, 2017. 0.88
3, 4 15 3, 4 15 0.85
英語(論文から抽出)日本語訳スコア
(a) n = 5 ; c = 0 (a) n = 5 ; c = 0 0.85
(b) n = 10 ; c = 0 (b) n = 10 ; c = 0 0.85
(c) n = 15 ; c = 0 (c) n = 15 ; c = 0 0.85
(d) n = 5 ; c = 5 (d) n = 5 ; c = 5 0.85
(e) n = 10 ; c = 5 (e) n = 10 ; c = 5 0.85
(f) n = 15 ; c = 5 (f) n = 15; c = 5 0.85
(g) n = 5 ; c = 10 (g) n = 5 ; c = 10 0.85
(h) n = 10 ; c = 10 (h) n = 10; c = 10 0.85
(i) n = 15 ; c = 10 (i) n = 15; c = 10 0.85
Figure 21: (cont.) 図21: (cont.) 0.82
Effects of different n and c to original model performance (top) and quality of generated watermark (bottom). 異なるnとcが元のモデル性能(トップ)と生成された透かし(ボトム)の品質に及ぼす影響。 0.77
versarial networks,” in ICCV, 2017, pp. ICCV、2017 pp.で「汎用ネットワーク」。 0.65
2223–2232. 2223–2232. 0.71
6 [33] M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, and S. Hochreiter, “Gans trained by a two time-scale update rule converge to a local nash equilibrium,” in NeurIPS, 2017, pp. 6 33] M. Heusel、H. Ramsauer、T. Unterthiner、B. Nessler、およびS. Hochreiterは、「2時間の更新ルールによって訓練されたガンは、NeuIPS、2017 ppで、ローカルナッシュ平衡に収束します。
訳抜け防止モード: 6 [33 ]M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, S. Hochreiter, “ガンは2回訓練され、スケール更新規則は局所的なナッシュ均衡に収束する”。 in NeurIPS , 2017 , pp。
0.83
6626–6637. 6626–6637. 0.71
6 [34] P. Isola, J.-Y. 6 34] P. Isola, J.-Y。 0.84
Zhu, T. Zhou, and A. Zhu, T. Zhou, A。 0.76
A. Efros, “Imageto-image translation with conditional adversarial networks,” in CVPR, 2017, pp. CVPR, 2017 pp. A. Efros, “Imageto-image translation with conditional adversarial network”。 0.84
1125–1134. 1125–1134. 0.71
10 [26] Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli et al., “Image quality assessment: from error visibility to structural similarity,” IEEE Transactions on Image Processing, vol. 10 [26] Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli, al., “画像品質評価:エラーの可視性から構造的類似性に至るまで”, IEEE Transactions on Image Processing, vol。 0.86
13, no. 4, pp. 13、いいえ。 4, pp。 0.75
600–612, 2004. 600–612, 2004. 0.84
3 [27] T. Miyato, T. Kataoka, M. Koyama, and Y. Yoshida, “Spectral normalization for generative adversarial networks,” in ICLR, 2018. 3 T. Miyato, T. Kataoka, M. Koyama, Y. Yoshida, “Spectral normalization for Generative adversarial network” in ICLR, 2018。 0.79
3, 6 [28] A. Krizhevsky, V. Nair, and G. Hinton, “Cifar-10 (canadian institute for advanced research).” [Online]. 3, 6 [28] A. Krizhevsky, V. Nair, G. Hinton, “Cifar-10 (Canadian Institute for Advanced Research)” [Online] 0.84
Available: http://www.cs.toront o.edu/∼kriz/cifar.html 6 出典: http://www.cs.toront o.edu/]kriz/cifar.html 6 0.34
[29] P. Welinder, S. Branson, T. Mita, C. Wah, F. Schroff, S. Belongie, and P. Perona, “Caltech-UCSD Birds 200,” California Institute of Technology, Tech. P. Welinder, S. Branson, T. Mita, C. Wah, F. Schroff, S. Belongie, P. Perona, “Caltech-UCSD Birds 200, California Institute of Technology, Tech。 0.89
Rep. CNS-TR-2010-001, 2010. CNS-TR-2010-001、2010年。 0.48
6 [30] J. Deng, W. Dong, R. Socher, L.-J. 6 J. Deng, W. Dong, R. Socher, L.-J. 0.86
Li, K. Li, and L. Fei-Fei, “ImageNet: A Large-Scale Hierarchical Image Database,” in CVPR, 2009. Li, K. Li, and L. Fei-Fei, “ImageNet: A Large-Scale Hierarchical Image Database” in CVPR, 2009 0.95
6 [31] M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele, “The cityscapes dataset for semantic urban scene understanding,” in CVPR, 2016, pp. 6 CVPR, 2016 pp. [31] M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, B. Schiele, “The cityscapes dataset for semantic Urban scene understanding” 。 0.88
3213–3223. 3213–3223. 0.71
6 [32] J.-Y. 6 [32] J.-Y。 0.83
Zhu, T. Park, P. Isola, and A. Zhu, T. Park, P. Isola, A。 0.84
A. Efros, “Unpaired image-to-image translation using cycle-consistent ad- a. efros, “unpaired image-to-image translation using cycle- consistent ad-” 0.61
16 16 0.85
                                 ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。