論文の概要: MLDS: A Dataset for Weight-Space Analysis of Neural Networks

• arxiv url: http://arxiv.org/abs/2104.10555v1
• Date: Wed, 21 Apr 2021 14:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:34:08.969762
• Title: MLDS: A Dataset for Weight-Space Analysis of Neural Networks
• Title（参考訳）: MLDS:ニューラルネットワークの重み空間解析のためのデータセット
• Authors: John Clemens
• Abstract要約: MLDSは、注意深く制御されたパラメータを持つ何千ものトレーニングニューラルネットワークからなる新しいデータセットである。 このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are powerful models that solve a variety of complex real-world problems. However, the stochastic nature of training and large number of parameters in a typical neural model makes them difficult to evaluate via inspection. Research shows this opacity can hide latent undesirable behavior, be it from poorly representative training data or via malicious intent to subvert the behavior of the network, and that this behavior is difficult to detect via traditional indirect evaluation criteria such as loss. Therefore, it is time to explore direct ways to evaluate a trained neural model via its structure and weights. In this paper we present MLDS, a new dataset consisting of thousands of trained neural networks with carefully controlled parameters and generated via a global volunteer-based distributed computing platform. This dataset enables new insights into both model-to-model and model-to-training-data relationships. We use this dataset to show clustering of models in weight-space with identical training data and meaningful divergence in weight-space with even a small change to the training data, suggesting that weight-space analysis is a viable and effective alternative to loss for evaluating neural networks.
• Abstract（参考訳）: ニューラルネットワークは、様々な複雑な現実世界の問題を解決する強力なモデルである。 しかし、訓練の確率的性質と典型的な神経モデルにおける多数のパラメータは、検査によって評価することが困難である。 研究によると、この不透明さは、有害なトレーニングデータやネットワークの振る舞いを覆い隠す悪意のある意図など、潜伏した好ましくない行動を隠すことができ、損失などの従来の間接的評価基準によって検出することは困難である。 したがって、その構造と重みを通して訓練された神経モデルを評価する直接的方法を探求する時が来た。 本稿では,グローバルボランティアベースの分散コンピューティングプラットフォームを用いて,注意深く制御されたパラメータを持つ数千のトレーニングニューラルネットワークからなる新しいデータセットMLDSを提案する。 このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。 このデータセットを用いて、重み空間内のモデルのクラスタリングを同一のトレーニングデータで示し、トレーニングデータに小さな変更を加えることで重み空間の有意義なばらつきを示し、重み空間分析がニューラルネットワーク評価における損失の有効かつ効果的な代替手段であることを示唆する。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Epistemic Modeling Uncertainty of Rapid Neural Network Ensembles for Adaptive Learning [0.0]
  新しいタイプのニューラルネットワークは、高速ニューラルネットワークパラダイムを用いて提示される。 提案したエミュレータを組み込んだニューラルネットワークは,予測精度を損なうことなく,ほぼ瞬時に学習できることが判明した。
  論文  参考訳（メタデータ） (2023-09-12T22:34:34Z)
• Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
  本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。 提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T18:48:04Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
  本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。 サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。 本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T15:46:50Z)
• Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
  サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。 線形化ネットワークを用いてこれらの量の効率的な近似を行う。 本稿では,データセットの要約など,いくつかの問題に適用する。
  論文  参考訳（メタデータ） (2021-01-17T10:29:29Z)
• An analytic theory of shallow networks dynamics for hinge loss classification [14.323962459195771]
  我々は、単純なタイプのニューラルネットワーク(分類タスクを実行するために訓練された単一の隠れ層)のトレーニングダイナミクスについて研究する。 我々はこの理論を線形分離可能なデータセットと線形ヒンジ損失のプロトタイプケースに特化する。 これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
  論文  参考訳（メタデータ） (2020-06-19T16:25:29Z)
• Learning Queuing Networks by Recurrent Neural Networks [0.0]
  データから性能モデルを導出する機械学習手法を提案する。 我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。 これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
  論文  参考訳（メタデータ） (2020-02-25T10:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。