論文の概要: CrossedWires: A Dataset of Syntactically Equivalent but Semantically Disparate Deep Learning Models

• arxiv url: http://arxiv.org/abs/2108.12768v1
• Date: Sun, 29 Aug 2021 07:27:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 14:55:02.635722
• Title: CrossedWires: A Dataset of Syntactically Equivalent but Semantically Disparate Deep Learning Models
• Title（参考訳）: CrossedWires: シンタクティックに等価だがセマンティックに異なるディープラーニングモデルのデータセット
• Authors: Max Zvyagin, Thomas Brettin, Arvind Ramanathan, Sumit Kumar Jha
• Abstract要約: 我々は、PyTorchとDenseflowという2つの人気のあるディープラーニングフレームワーク間の意味的な差異を明らかにするCrossedWiresと呼ばれるモデルとハイパーパラメータの生きたデータセットを提示する。 CrossedWiresデータセットは、一般的なディープラーニングフレームワーク間の構文的に等価なモデル間のセマンティックな差異を研究する機会を提供する。
• 参考スコア（独自算出の注目度）: 4.487528701954606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The training of neural networks using different deep learning frameworks may lead to drastically differing accuracy levels despite the use of the same neural network architecture and identical training hyperparameters such as learning rate and choice of optimization algorithms. Currently, our ability to build standardized deep learning models is limited by the availability of a suite of neural network and corresponding training hyperparameter benchmarks that expose differences between existing deep learning frameworks. In this paper, we present a living dataset of models and hyperparameters, called CrossedWires, that exposes semantic differences between two popular deep learning frameworks: PyTorch and Tensorflow. The CrossedWires dataset currently consists of models trained on CIFAR10 images using three different computer vision architectures: VGG16, ResNet50 and DenseNet121 across a large hyperparameter space. Using hyperparameter optimization, each of the three models was trained on 400 sets of hyperparameters suggested by the HyperSpace search algorithm. The CrossedWires dataset includes PyTorch and Tensforflow models with test accuracies as different as 0.681 on syntactically equivalent models and identical hyperparameter choices. The 340 GB dataset and benchmarks presented here include the performance statistics, training curves, and model weights for all 1200 hyperparameter choices, resulting in 2400 total models. The CrossedWires dataset provides an opportunity to study semantic differences between syntactically equivalent models across popular deep learning frameworks. Further, the insights obtained from this study can enable the development of algorithms and tools that improve reliability and reproducibility of deep learning frameworks. The dataset is freely available at https://github.com/maxzvyagin/crossedwires through a Python API and direct download link.
• Abstract（参考訳）: 異なるディープラーニングフレームワークを用いたニューラルネットワークのトレーニングは、同じニューラルネットワークアーキテクチャと、学習速度や最適化アルゴリズムの選択といった同じトレーニングハイパーパラメータを使用しても、精度レベルが大幅に異なる可能性がある。 現在、標準化されたディープラーニングモデルを構築する能力は、ニューラルネットワークスイートと、既存のディープラーニングフレームワークの違いを公開するトレーニングハイパーパラメータベンチマークの可用性によって制限されています。 本稿では,pytorchとtensorflowという2つの一般的なディープラーニングフレームワーク間の意味的差異を明らかにするcrosswiresと呼ばれる,モデルとハイパーパラメータの生きたデータセットを提案する。 CrossedWiresデータセットは現在、3つの異なるコンピュータビジョンアーキテクチャ(VGG16、ResNet50、DenseNet121)を使用してCIFAR10イメージでトレーニングされたモデルで構成されている。 ハイパーパラメータ最適化を用いて, ハイパースペース探索アルゴリズムによって提案される400組のハイパーパラメータを用いて, 3モデルそれぞれを訓練した。 crosswiresデータセットにはpytorchとtensforflowモデルが含まれており、構文的に等価なモデルと同一のハイパーパラメータの選択で0.681と異なる。 ここで提示された340GBのデータセットとベンチマークには、パフォーマンス統計、トレーニング曲線、1200のハイパーパラメータ選択すべてに対するモデルウェイトが含まれている。 CrossedWiresデータセットは、一般的なディープラーニングフレームワーク間の構文的に等価なモデル間のセマンティックな差異を研究する機会を提供する。 さらに,本研究から得られた知見は,ディープラーニングフレームワークの信頼性と再現性を向上させるアルゴリズムやツールの開発を可能にする。 データセットはPython APIと直接ダウンロードリンクを通じてhttps://github.com/maxzvyagin/crossedwiresで無償公開されている。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How [62.467716468917224]
  本稿では,最適事前学習モデルとハイパーパラメータを共同で探索し,微調整する手法を提案する。 本手法は,一連のデータセット上で,事前学習したモデルの性能に関する知識を伝達する。 得られたアプローチによって、新しいデータセットの正確な事前学習モデルを迅速に選択できることを実証的に実証する。
  論文  参考訳（メタデータ） (2023-06-06T16:15:26Z)
• VertiBayes: Learning Bayesian network parameters from vertically partitioned data with missing values [2.9707233220536313]
  フェデレーション学習は、分散データに基づいて機械学習モデルをトレーニングすることを可能にする。 本稿では,垂直分割データ上でベイズネットワークを学習するためのVertiBayesという新しい手法を提案する。 提案手法は,従来のアルゴリズムを用いて学習したモデルに匹敵するモデルを生成する。
  論文  参考訳（メタデータ） (2022-10-31T11:13:35Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Investigating the Relationship Between Dropout Regularization and Model Complexity in Neural Networks [0.0]
  ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。 2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。 各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
  論文  参考訳（メタデータ） (2021-08-14T23:49:33Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data [11.552769149674544]
  大規模データセットに対する高性能な予測モデルの開発は難しい課題である。 最近の自動機械学習(AutoML)は、予測モデル開発を自動化するための有望なアプローチとして現れている。 我々は,老化進化(AgE)とニューラルアーキテクチャ空間を探索する並列NAS法を組み合わせたAgEBO-Tabularを開発した。
  論文  参考訳（メタデータ） (2020-10-30T16:28:48Z)
• It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing [1.581913948762905]
  トレーニングデータの作成は、生産や研究のためにディープラーニングモデルをデプロイするライフサイクルにおいて、しばしばボトルネックとなる。 本稿では,対象のデータセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンド・ツー・エンドプロセスを提案する。
  論文  参考訳（メタデータ） (2020-10-13T22:52:13Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。