論文の概要: You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership

• arxiv url: http://arxiv.org/abs/2111.00162v1
• Date: Sat, 30 Oct 2021 03:38:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 17:10:50.338540
• Title: You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership
• Title（参考訳）: あなたは私の当選した宝くじを盗まれます! 宝くじでその所有権を請求する
• Authors: Xuxi Chen, Tianlong Chen, Zhenyu Zhang, Zhangyang Wang
• Abstract要約: Lottery ticket hypothesis (LTH) は、特別なスパースサブネットワークを活用するための有望なフレームワークとして出現する。 しかし、LTHの主な資源ボトルネックは、当選チケットのスパースマスクを見つけるのに特別なコストである。 私たちの設定は、深層モデルの知的財産権侵害から保護することに対する最近の関心に新たな次元を与えます。
• 参考スコア（独自算出の注目度）: 87.13642800792077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite tremendous success in many application scenarios, the training and inference costs of using deep learning are also rapidly increasing over time. The lottery ticket hypothesis (LTH) emerges as a promising framework to leverage a special sparse subnetwork (i.e., winning ticket) instead of a full model for both training and inference, that can lower both costs without sacrificing the performance. The main resource bottleneck of LTH is however the extraordinary cost to find the sparse mask of the winning ticket. That makes the found winning ticket become a valuable asset to the owners, highlighting the necessity of protecting its copyright. Our setting adds a new dimension to the recently soaring interest in protecting against the intellectual property (IP) infringement of deep models and verifying their ownerships, since they take owners' massive/unique resources to develop or train. While existing methods explored encrypted weights or predictions, we investigate a unique way to leverage sparse topological information to perform lottery verification, by developing several graph-based signatures that can be embedded as credentials. By further combining trigger set-based methods, our proposal can work in both white-box and black-box verification scenarios. Through extensive experiments, we demonstrate the effectiveness of lottery verification in diverse models (ResNet-20, ResNet-18, ResNet-50) on CIFAR-10 and CIFAR-100. Specifically, our verification is shown to be robust to removal attacks such as model fine-tuning and pruning, as well as several ambiguity attacks. Our codes are available at https://github.com/VITA-Group/NO-stealing-LTH.
• Abstract（参考訳）: 多くのアプリケーションシナリオで非常に成功したにもかかわらず、ディープラーニングを使用するトレーニングと推論コストも、時間とともに急速に増加しています。 抽選券仮説(英: lottery ticket hypothesis、LTH)は、トレーニングと推論の両方の完全なモデルではなく、特別にスパースなサブネットワーク(すなわち、当選券)を活用するための有望な枠組みとして現れ、パフォーマンスを犠牲にすることなくコストを下げることができる。 しかし、LTHの主な資源ボトルネックは、当選チケットのスパースマスクを見つけるのに特別なコストである。 これにより、見つかった当選チケットは所有者にとって貴重な資産となり、著作権を保護する必要性を強調している。 当社の設定では、知的財産権(ip)による深層モデル侵害に対する保護への関心が高まり、所有者の膨大な/未熟なリソースを開発や訓練に活用するため、その所有権の検証に新たな次元が加えられている。 既存の手法では, 暗号化された重みや予測を探索する一方で, 粗いトポロジ情報を利用して宝くじ検証を行う独自の手法を探索し, 認証情報として組み込むことのできるグラフベースのシグネチャを複数開発した。 トリガーセットベースのメソッドを更に組み合わせることで、ホワイトボックスとブラックボックスの両方の検証シナリオで動作する。 CIFAR-10およびCIFAR-100における各種モデル(ResNet-20,ResNet-18,ResNet-50)における抽選検証の有効性を示す。 具体的には,モデルファインチューニングやプルーニングなどの除去攻撃や,あいまいな攻撃に対して堅牢であることを示す。 私たちのコードはhttps://github.com/VITA-Group/NO-stealing-LTHで公開しています。

関連論文リスト

• Can We Find Strong Lottery Tickets in Generative Models? [24.405555822170896]
  重み付けを伴わずに良好な生成性能が得られる生成モデルでは、強力な宝くじが見つかる。 我々の知る限りでは、私たちは生成モデルにおける強力な宝くじの存在を初めて示し、それを見つけるアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-12-16T07:20:28Z)
• Robust Lottery Tickets for Pre-trained Language Models [57.14316619360376]
  本稿では,従来の言語モデルに隠されたロバストなチケットを識別するために,二分重マスクの学習に基づく新しい手法を提案する。 実験結果から, 従来の対向ロバスト性評価法に比べて, 提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2022-11-06T02:59:27Z)
• Lottery Jackpots Exist in Pre-trained Models [69.17690253938211]
  未拡張幅の事前学習モデルには,「ロテリ・ジャックポット」と呼ばれる重量訓練を伴わずに,高性能で疎結合なサブネットワークが存在していることを示す。 トレーニング損失に悪影響を及ぼす可能性のあるマスクの変化を制限するための,新しい短い制限法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T03:50:28Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Lottery Ticket Implies Accuracy Degradation, Is It a Desirable Phenomenon? [43.47794674403988]
  ディープモデル圧縮では、最近の発見 "Lottery Ticket Hypothesis" (LTH) (Frankle & Carbin) は、勝利チケットが存在する可能性があることを指摘しました。 勝利特性の背後にある基礎的条件と理論的根拠を調査し,その基礎的理由が重みと最終訓練重みの相関関係に大きく関係していることを見いだした。 宝くじのスパーストレーニングを一貫して上回る"pruning & fine-tuning"方式を提案します。
  論文  参考訳（メタデータ） (2021-02-19T14:49:46Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Winning Lottery Tickets in Deep Generative Models [64.79920299421255]
  本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。 また、異なる生成モデル間での当選チケットの転送可能性を示す。
  論文  参考訳（メタデータ） (2020-10-05T21:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。