論文の概要: An Investigation of the Weight Space to Monitor the Training Progress of Neural Networks

• arxiv url: http://arxiv.org/abs/2006.10424v2
• Date: Wed, 17 Mar 2021 12:11:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 09:41:06.268114
• Title: An Investigation of the Weight Space to Monitor the Training Progress of Neural Networks
• Title（参考訳）: ニューラルネットワークの学習経過を監視するための重み空間の検討
• Authors: Konstantin Sch\"urholt, Damian Borth
• Abstract要約: 重量空間における一意な滑らかな軌道上でモデルが進化し、トレーニングの進捗を追跡できることを示す。 モデルトラジェクトリを分離し,トラジェクトリのチェックポイントの順序を復元できることが,DNNモデルバージョニングへの第一歩となる可能性がある。
• 参考スコア（独自算出の注目度）: 1.7704011486040843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safe use of Deep Neural Networks (DNNs) requires careful testing. However, deployed models are often trained further to improve in performance. As rigorous testing and evaluation is expensive, triggers are in need to determine the degree of change of a model. In this paper we investigate the weight space of DNN models for structure that can be exploited to that end. Our results show that DNN models evolve on unique, smooth trajectories in weight space which can be used to track DNN training progress. We hypothesize that curvature and smoothness of the trajectories as well as step length along it may contain information on the state of training as well as potential domain shifts. We show that the model trajectories can be separated and the order of checkpoints on the trajectories recovered, which may serve as a first step towards DNN model versioning.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の安全な使用には、慎重にテストする必要がある。 しかし、デプロイされたモデルはパフォーマンスを改善するためにさらに訓練されることが多い。 厳密なテストと評価は高価であるため、トリガーはモデルの変更の度合いを決定する必要がある。 本稿では,DNNモデルの重み空間について検討する。 以上の結果から, DNNモデルは, DNNトレーニングの進行状況を追跡するために, ウェイト空間における特異な滑らかな軌道上で進化することが示唆された。 我々は、軌道の曲率と滑らかさ、それに沿ったステップの長さが、トレーニングの状態や潜在的な領域シフトに関する情報を含むかもしれないと仮定する。 モデルトラジェクトリを分離し,トラジェクトリのチェックポイントの順序を復元できることが,DNNモデルバージョニングへの第一歩となる可能性がある。

関連論文リスト

• Synthetic Trajectory Generation Through Convolutional Neural Networks [6.717469146587211]
  RTCT(Reversible Trajectory-to-CNN Transformation)を導入する。 RTCTは、軌跡をCNNベースのモデルに適したフォーマットに適合させる。 我々は、RNNに基づく軌道GANに対して、その性能を評価する。
  論文  参考訳（メタデータ） (2024-07-24T02:16:52Z)
• Online GNN Evaluation Under Test-time Graph Distribution Shifts [92.4376834462224]
  オンラインGNN評価という新たな研究課題は、よく訓練されたGNNが現実世界の未ラベルグラフに一般化する能力について、貴重な洞察を提供することを目的としている。 我々は、よく訓練されたGNNモデルのテスト時間一般化誤差を推定するために、LeBeDと呼ばれる効果的な学習行動不一致スコアを開発する。
  論文  参考訳（メタデータ） (2024-03-15T01:28:08Z)
• Control-Theoretic Techniques for Online Adaptation of Deep Neural Networks in Dynamical Systems [0.0]
  ディープニューラルネットワーク(DNN)は現在、現代の人工知能、機械学習、データサイエンスの主要なツールである。 多くのアプリケーションでは、DNNは教師付き学習や強化学習を通じてオフラインでトレーニングされ、推論のためにオンラインにデプロイされる。 制御理論からDNNパラメータをオンラインで更新する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T16:51:11Z)
• Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
  近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 取り出したノイズペアはモデル性能を劇的に低下させる。 ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T07:43:39Z)
• Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
  軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。 ニューラル微分方程式モデルに基づく新しい手法を提案する。 我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
  論文  参考訳（メタデータ） (2022-07-21T12:11:18Z)
• Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
  ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-05-28T13:09:30Z)
• Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
  スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。 研究者はすでに、SNNを敵の例で攻撃できることを実証している。 我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
  論文  参考訳（メタデータ） (2022-04-12T21:26:49Z)
• Testing Feedforward Neural Networks Training Programs [13.249453757295083]
  ディープニューラルネットワークの動作の不整合を露呈するテストケースを生成するために、複数のテスト技術が提案されている。 これらのテクニックは、トレーニングプログラムがバグフリーで適切に設定されていることを暗黙的に仮定する。 本稿では,DNNトレーニングプログラムのエンドツーエンドなプロパティベースのデバッグ手法であるTheDeepCheckerを提案する。
  論文  参考訳（メタデータ） (2022-04-01T20:49:14Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)
• Generating Synthetic Training Data for Deep Learning-Based UAV Trajectory Prediction [11.241614693184323]
  本稿では,無人航空機車(UAV)の合成軌道データを生成する手法を提案する。 実世界のUAV追跡データセットにおいて,RNNに基づく予測モデルが従来の参照モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T13:08:31Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。