論文の概要: ModelDiff: Testing-Based DNN Similarity Comparison for Model Reuse Detection

• arxiv url: http://arxiv.org/abs/2106.08890v1
• Date: Fri, 11 Jun 2021 15:16:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-20 16:13:24.319837
• Title: ModelDiff: Testing-Based DNN Similarity Comparison for Model Reuse Detection
• Title（参考訳）: ModelDiff: モデル再利用検出のためのテストベースDNN類似度比較
• Authors: Yuanchun Li, Ziqi Zhang, Bingyan Liu, Ziyue Yang, and Yunxin Liu
• Abstract要約: ModelDiffは、ディープラーニングモデル類似性比較に対するテストベースのアプローチである。 モバイルディープラーニングアプリの研究は、現実世界のモデルにおけるModelDiffの可能性を示している。
• 参考スコア（独自算出の注目度）: 9.106864924968251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The knowledge of a deep learning model may be transferred to a student model, leading to intellectual property infringement or vulnerability propagation. Detecting such knowledge reuse is nontrivial because the suspect models may not be white-box accessible and/or may serve different tasks. In this paper, we propose ModelDiff, a testing-based approach to deep learning model similarity comparison. Instead of directly comparing the weights, activations, or outputs of two models, we compare their behavioral patterns on the same set of test inputs. Specifically, the behavioral pattern of a model is represented as a decision distance vector (DDV), in which each element is the distance between the model's reactions to a pair of inputs. The knowledge similarity between two models is measured with the cosine similarity between their DDVs. To evaluate ModelDiff, we created a benchmark that contains 144 pairs of models that cover most popular model reuse methods, including transfer learning, model compression, and model stealing. Our method achieved 91.7% correctness on the benchmark, which demonstrates the effectiveness of using ModelDiff for model reuse detection. A study on mobile deep learning apps has shown the feasibility of ModelDiff on real-world models.
• Abstract（参考訳）: ディープラーニングモデルの知識は学生モデルに移され、知的財産権侵害や脆弱性の伝播につながる可能性がある。 このような知識の再利用の検出は、疑うモデルがホワイトボックスにアクセスできない場合や、異なるタスクをこなす場合があるため、簡単ではない。 本稿では,ディープラーニングモデル類似性比較のためのテストベースアプローチであるModelDiffを提案する。 2つのモデルの重み、アクティベーション、アウトプットを直接比較する代わりに、同じテスト入力のセットでそれらの振る舞いパターンを比較します。 具体的には、モデルの行動パターンは決定距離ベクトル(DDV)として表現され、各要素はモデルの反応と入力の対の間の距離である。 2つのモデル間の知識類似度は、DDV間のコサイン類似度で測定される。 ModelDiffを評価するために、転送学習、モデル圧縮、モデル盗難など、最も一般的なモデルの再利用方法をカバーする144組のモデルを含むベンチマークを作成しました。 本手法は,モデル再利用検出にモデル差分を用いた場合の有効性を示すベンチマークで91.7%の精度を得た。 モバイルディープラーニングアプリの研究は、現実世界のモデルにおけるModelDiffの可能性を示している。

関連論文リスト

• Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback [97.0874638345205]
  生成モデルは、識別モデルのための優れたテストタイムアダプタになり得る。 提案手法であるDiffusion-TTAは,事前学習した判別モデルを,テストセットの各未学習例に適応させる。 拡散-TTAは,様々な大規模事前学習型判別モデルの精度を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-27T18:59:53Z)
• Wrapper Boxes: Faithful Attribution of Model Predictions to Training Data [40.7542543934205]
  ニューラルモデルを通常のように訓練し、学習した特徴表現を古典的解釈可能なモデルで使用して予測を行う「ラッパーボックス」パイプラインを提案する。 異なる大きさの7つの言語モデルに対して、まず、ラッパー古典モデルの予測性能が元のニューラルモデルにほぼ匹敵することを示した。 我々のパイプラインは、古典的なモデル決定をデータトレーニングに忠実に寄与しながら、ニューラルネットワークモデルの予測性能を保っている。
  論文  参考訳（メタデータ） (2023-11-15T01:50:53Z)
• Comparing Foundation Models using Data Kernels [13.099029073152257]
  基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。 提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。 本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
  論文  参考訳（メタデータ） (2023-05-09T02:01:07Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
  我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。 モデル能力,トレーニングデータ,モデル解釈について検討した。 我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T19:49:34Z)
• ModelDiff: A Framework for Comparing Learning Algorithms [86.19580801269036]
  そこでは,2つの異なる学習アルゴリズムを用いて学習したモデルの違いを見つけることを目的とする。 トレーニングデータの使用方法に基づいて学習アルゴリズムを比較するために,データモデルフレームワークを利用するModelDiffを提案する。
  論文  参考訳（メタデータ） (2022-11-22T18:56:52Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)
• Model Comparison in Approximate Bayesian Computation [0.456877715768796]
  自然科学における一般的な問題は、観測されたデータに照らして競合するモデルの比較である。 この枠組みは、実際に使用されるほとんどのモデルにとって難解な確率関数の計算に依存している。 ABCにおけるベイズモデルの比較を行うための新しい効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T10:24:16Z)
• Deep Learning Models for Knowledge Tracing: Review and Empirical Evaluation [2.423547527175807]
  我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。 評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
  論文  参考訳（メタデータ） (2021-12-30T14:19:27Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
  この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T05:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。