論文の概要: Data from Model: Extracting Data from Non-robust and Robust Models
- arxiv url: http://arxiv.org/abs/2007.06196v1
- Date: Mon, 13 Jul 2020 05:27:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 23:13:11.766284
- Title: Data from Model: Extracting Data from Non-robust and Robust Models
- Title(参考訳): モデルからのデータ:非ロバストモデルとロバストモデルからのデータ抽出
- Authors: Philipp Benz, Chaoning Zhang, Tooba Imtiaz, In-So Kweon
- Abstract要約: この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。
本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。
以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
- 参考スコア(独自算出の注目度): 83.60161052867534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The essence of deep learning is to exploit data to train a deep neural
network (DNN) model. This work explores the reverse process of generating data
from a model, attempting to reveal the relationship between the data and the
model. We repeat the process of Data to Model (DtM) and Data from Model (DfM)
in sequence and explore the loss of feature mapping information by measuring
the accuracy drop on the original validation dataset. We perform this
experiment for both a non-robust and robust origin model. Our results show that
the accuracy drop is limited even after multiple sequences of DtM and DfM,
especially for robust models. The success of this cycling transformation can be
attributed to the shared feature mapping existing in data and model. Using the
same data, we observe that different DtM processes result in models having
different features, especially for different network architecture families,
even though they achieve comparable performance.
- Abstract(参考訳): ディープラーニングの本質は、データを利用してディープニューラルネットワーク(DNN)モデルをトレーニングすることだ。
この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。
我々は,データからモデルへのデータ(DtM)とモデルへのデータ(DfM)の連続的なプロセスを繰り返し,元の検証データセットの精度低下を測定して特徴マッピング情報の損失を探索する。
非ロバストおよびロバストな原点モデルの両方でこの実験を行う。
以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
このサイクリング変換の成功は、データとモデルに存在する共有機能マッピングに起因する可能性がある。
同じデータを用いて、異なるDtMプロセスが異なる特徴を持つモデル、特に異なるネットワークアーキテクチャファミリーに対して、同等のパフォーマンスを達成できたとしても、結果が得られます。
関連論文リスト
- Modified CycleGAN for the synthesization of samples for wheat head
segmentation [0.09999629695552192]
注釈付きデータセットがない場合は、モデル開発に合成データを使用することができる。
そこで我々は,小麦頭部分割のための現実的な注釈付き合成データセットを開発した。
その結果、Diceのスコアは内部データセットで83.4%、外部のGlobal Wheat Head Detectionデータセットで83.6%に達した。
論文 参考訳(メタデータ) (2024-02-23T06:42:58Z) - Revisiting Permutation Symmetry for Merging Models between Different
Datasets [3.234560001579257]
異なるデータセット間のマージモデルの特性について検討する。
その結果,統合モデルの精度は,データセットが多様化するにつれて著しく低下することがわかった。
データセットの縮合によって生成された縮合データセットは、元のデータセットの代用として使用できることを示す。
論文 参考訳(メタデータ) (2023-06-09T03:00:34Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳(メタデータ) (2023-03-24T17:56:22Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - LSH methods for data deduplication in a Wikipedia artificial dataset [0.43592370626384086]
AUC(Area-Under-Curve)は、ほとんどのモデルで0.9以上の値が観測され、最良のモデルは0.96である。
重複は、反復したデータの結果、実際のものと異なる分布を学習することを防止し、より効果的なモデルトレーニングを可能にする。
論文 参考訳(メタデータ) (2021-12-10T20:01:26Z) - ModelDiff: Testing-Based DNN Similarity Comparison for Model Reuse
Detection [9.106864924968251]
ModelDiffは、ディープラーニングモデル類似性比較に対するテストベースのアプローチである。
モバイルディープラーニングアプリの研究は、現実世界のモデルにおけるModelDiffの可能性を示している。
論文 参考訳(メタデータ) (2021-06-11T15:16:18Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - Dataset Cartography: Mapping and Diagnosing Datasets with Training
Dynamics [118.75207687144817]
我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。
私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。
以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
論文 参考訳(メタデータ) (2020-09-22T20:19:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。