論文の概要: Data from Model: Extracting Data from Non-robust and Robust Models

• arxiv url: http://arxiv.org/abs/2007.06196v1
• Date: Mon, 13 Jul 2020 05:27:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 23:13:11.766284
• Title: Data from Model: Extracting Data from Non-robust and Robust Models
• Title（参考訳）: モデルからのデータ:非ロバストモデルとロバストモデルからのデータ抽出
• Authors: Philipp Benz, Chaoning Zhang, Tooba Imtiaz, In-So Kweon
• Abstract要約: この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
• 参考スコア（独自算出の注目度）: 83.60161052867534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The essence of deep learning is to exploit data to train a deep neural network (DNN) model. This work explores the reverse process of generating data from a model, attempting to reveal the relationship between the data and the model. We repeat the process of Data to Model (DtM) and Data from Model (DfM) in sequence and explore the loss of feature mapping information by measuring the accuracy drop on the original validation dataset. We perform this experiment for both a non-robust and robust origin model. Our results show that the accuracy drop is limited even after multiple sequences of DtM and DfM, especially for robust models. The success of this cycling transformation can be attributed to the shared feature mapping existing in data and model. Using the same data, we observe that different DtM processes result in models having different features, especially for different network architecture families, even though they achieve comparable performance.
• Abstract（参考訳）: ディープラーニングの本質は、データを利用してディープニューラルネットワーク(DNN)モデルをトレーニングすることだ。 この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 我々は,データからモデルへのデータ(DtM)とモデルへのデータ(DfM)の連続的なプロセスを繰り返し,元の検証データセットの精度低下を測定して特徴マッピング情報の損失を探索する。 非ロバストおよびロバストな原点モデルの両方でこの実験を行う。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。 このサイクリング変換の成功は、データとモデルに存在する共有機能マッピングに起因する可能性がある。 同じデータを用いて、異なるDtMプロセスが異なる特徴を持つモデル、特に異なるネットワークアーキテクチャファミリーに対して、同等のパフォーマンスを達成できたとしても、結果が得られます。

関連論文リスト

• When to Trust Your Data: Enhancing Dyna-Style Model-Based Reinforcement Learning With Data Filter [7.886307329450978]
  ダイナスタイルのアルゴリズムは、推定環境モデルからのシミュレーションデータを用いてモデルフリートレーニングを加速することにより、2つのアプローチを組み合わせる。 これまでの作業では、モデルアンサンブルを使用したり、実際の環境から収集されたデータで推定されたモデルを事前訓練することで、この問題に対処している。 本研究では,実環境において収集したデータから大きく分岐する推定モデルからシミュレーションデータを除去するアウト・オブ・ディストリビューションデータフィルタを提案する。
  論文  参考訳（メタデータ） (2024-10-16T01:49:03Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Modified CycleGAN for the synthesization of samples for wheat head segmentation [0.09999629695552192]
  注釈付きデータセットがない場合は、モデル開発に合成データを使用することができる。 そこで我々は,小麦頭部分割のための現実的な注釈付き合成データセットを開発した。 その結果、Diceのスコアは内部データセットで83.4%、外部のGlobal Wheat Head Detectionデータセットで83.6%に達した。
  論文  参考訳（メタデータ） (2024-02-23T06:42:58Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Revisiting Permutation Symmetry for Merging Models between Different Datasets [3.234560001579257]
  異なるデータセット間のマージモデルの特性について検討する。 その結果,統合モデルの精度は,データセットが多様化するにつれて著しく低下することがわかった。 データセットの縮合によって生成された縮合データセットは、元のデータセットの代用として使用できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T03:00:34Z)
• Private Gradient Estimation is Useful for Generative Modeling [25.777591229903596]
  そこで本研究では,サンプルをハミルトン力学で生成し,よく訓練されたネットワークから推定したプライベートデータセットの勾配を推定する手法を提案する。 我々のモデルは256x256の解像度でデータを生成することができる。
  論文  参考訳（メタデータ） (2023-05-18T02:51:17Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。