論文の概要: Non-transferable Pruning

• arxiv url: http://arxiv.org/abs/2410.08015v1
• Date: Thu, 10 Oct 2024 15:10:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 06:05:02.945638
• Title: Non-transferable Pruning
• Title（参考訳）: 非転写性プルーニング
• Authors: Ruyi Ding, Lili Su, Aidong Adam Ding, Yunsi Fei,
• Abstract要約: 事前学習型ディープニューラルネットワーク(DNN)は、ますます価値ある知的財産権(IP)として認識されつつある これらのモデルをIP侵害から保護するために、所有権の検証と使用許可のための戦略が出現した。 提案するNon-Transferable Pruning(NTP)は,事前訓練したDNNの非許可データ領域への転送可能性を制御するために,モデルプルーニングを利用する新しいIP保護手法である。
• 参考スコア（独自算出の注目度）: 5.690414273625171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained Deep Neural Networks (DNNs), developed from extensive datasets to integrate multifaceted knowledge, are increasingly recognized as valuable intellectual property (IP). To safeguard these models against IP infringement, strategies for ownership verification and usage authorization have emerged. Unlike most existing IP protection strategies that concentrate on restricting direct access to the model, our study addresses an extended DNN IP issue: applicability authorization, aiming to prevent the misuse of learned knowledge, particularly in unauthorized transfer learning scenarios. We propose Non-Transferable Pruning (NTP), a novel IP protection method that leverages model pruning to control a pretrained DNN's transferability to unauthorized data domains. Selective pruning can deliberately diminish a model's suitability on unauthorized domains, even with full fine-tuning. Specifically, our framework employs the alternating direction method of multipliers (ADMM) for optimizing both the model sparsity and an innovative non-transferable learning loss, augmented with Fisher space discriminative regularization, to constrain the model's generalizability to the target dataset. We also propose a novel effective metric to measure the model non-transferability: Area Under the Sample-wise Learning Curve (SLC-AUC). This metric facilitates consideration of full fine-tuning across various sample sizes. Experimental results demonstrate that NTP significantly surpasses the state-of-the-art non-transferable learning methods, with an average SLC-AUC at $-0.54$ across diverse pairs of source and target domains, indicating that models trained with NTP do not suit for transfer learning to unauthorized target domains. The efficacy of NTP is validated in both supervised and self-supervised learning contexts, confirming its applicability in real-world scenarios.
• Abstract（参考訳）: 多面的知識を統合するために、広範囲なデータセットから開発された事前学習型ディープニューラルネットワーク(DNN)は、ますます価値ある知的財産権(IP)として認識されている。 これらのモデルをIP侵害から保護するために、所有権の検証と使用許可のための戦略が出現した。 モデルへの直接アクセスを制限することに集中する既存のIP保護戦略とは異なり、本研究では、学習知識の誤用を防止することを目的とした、応用可能性認可(applicability permission)という拡張されたDNNIP問題に対処する。 提案するNon-Transferable Pruning(NTP)は,事前訓練したDNNの非許可データ領域への転送可能性を制御するために,モデルプルーニングを利用する新しいIP保護手法である。 選択的なプルーニングは、完全な微調整であっても、無許可のドメインに対するモデルの適合性を意図的に減少させる可能性がある。 具体的には,モデル空間の識別正則化によって拡張された,モデル空間と革新的な非伝達性学習損失の両方を最適化するために,乗算器の交互方向法(ADMM)を用いて,モデルの一般化性を目標データセットに制約する。 また,SLC-AUC (Area Under the Sample-wise Learning Curve) のモデル非参照性を測定するための新しい有効指標を提案する。 この計量は、様々なサンプルサイズにわたる完全な微調整の考察を促進する。 実験の結果,NTPは最先端の非伝達性学習手法をはるかに上回り,平均的なSLC-AUCは様々なソースとターゲットドメインにまたがって$-0.54$であり,NTPで訓練されたモデルは未認可のターゲットドメインへの変換学習には適していないことが示された。 NTPの有効性は、教師付きおよび自己教師型学習コンテキストの両方で検証され、実世界のシナリオにおける適用性を確認する。

関連論文リスト

• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• MAP: MAsk-Pruning for Source-Free Model Intellectual Property Protection [18.99205251538783]
  MAsk Pruning (MAP) は、ターゲット関連パラメータをよく訓練されたモデルで探索・解析するためのフレームワークである。 MAPはソースモデルを凍結し、ターゲット固有のバイナリマスクを学び、不正なデータの使用を防止する。 大規模な実験により、MAPは新たな最先端のパフォーマンスをもたらすことが示されている。
  論文  参考訳（メタデータ） (2024-03-07T02:10:59Z)
• Learning Transferable Conceptual Prototypes for Interpretable Unsupervised Domain Adaptation [79.22678026708134]
  本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。 この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。 総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-12T06:36:41Z)
• Unsupervised Non-transferable Text Classification [8.077841946617472]
  本稿では,テキスト分類タスクのための教師なし非参照型学習手法を提案する。 我々は、ターゲットドメインへのアクセスを回復するための秘密鍵コンポーネントをアプローチに導入する。
  論文  参考訳（メタデータ） (2022-10-23T08:15:43Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Universal Source-Free Domain Adaptation [57.37520645827318]
  ドメイン適応のための新しい2段階学習プロセスを提案する。 Procurementの段階では、今後のカテゴリギャップやドメインシフトに関する事前知識を前提とせず、将来的なソースフリーデプロイメントのためのモデルの提供を目標としています。 Deploymentの段階では、幅広いカテゴリギャップをまたいで動作可能な統一適応アルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2020-04-09T07:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。