論文の概要: Extracting Global Dynamics of Loss Landscape in Deep Learning Models

• arxiv url: http://arxiv.org/abs/2106.07683v1
• Date: Mon, 14 Jun 2021 18:07:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 10:53:28.712645
• Title: Extracting Global Dynamics of Loss Landscape in Deep Learning Models
• Title（参考訳）: 深層学習モデルにおける損失景観のグローバルダイナミクスの抽出
• Authors: Mohammed Eslami, Hamed Eramian, Marcio Gameiro, William Kalies, Konstantin Mischaikow
• Abstract要約: 本稿では,DOODL3 (Dynamical Organization of Deep Learning Loss Landscapes) のためのツールキットを提案する。 DOODL3は、ニューラルネットワークのトレーニングを動的システムとして定式化し、学習プロセスを分析し、損失ランドスケープにおける軌跡の解釈可能なグローバルビューを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models evolve through training to learn the manifold in which the data exists to satisfy an objective. It is well known that evolution leads to different final states which produce inconsistent predictions of the same test data points. This calls for techniques to be able to empirically quantify the difference in the trajectories and highlight problematic regions. While much focus is placed on discovering what models learn, the question of how a model learns is less studied beyond theoretical landscape characterizations and local geometric approximations near optimal conditions. Here, we present a toolkit for the Dynamical Organization Of Deep Learning Loss Landscapes, or DOODL3. DOODL3 formulates the training of neural networks as a dynamical system, analyzes the learning process, and presents an interpretable global view of trajectories in the loss landscape. Our approach uses the coarseness of topology to capture the granularity of geometry to mitigate against states of instability or elongated training. Overall, our analysis presents an empirical framework to extract the global dynamics of a model and to use that information to guide the training of neural networks.
• Abstract（参考訳）: ディープラーニングモデルは、学習を通じて進化し、目的を満たすためにデータが存在する多様体を学ぶ。 進化が、同じテストデータポイントの一貫性のない予測を生成する異なる最終状態につながることはよく知られている。 これにより、軌跡の差を経験的に定量化し、問題領域を強調できる技術が求められている。 モデルがどのように学習するかの発見に多くの焦点が当てられているが、モデルがどのように学習するかという問題は、理論的な景観特性や最適条件に近い局所幾何学的近似を超えては研究されていない。 本稿では,DOODL3 (Dynamical Organization of Deep Learning Loss Landscapes) のツールキットを提案する。 DOODL3は、ニューラルネットワークのトレーニングを動的システムとして定式化し、学習プロセスを分析し、損失ランドスケープにおける軌跡の解釈可能なグローバルビューを示す。 我々のアプローチは、トポロジの粗さを利用して幾何学の粒度を捉え、不安定な状態や長い訓練を緩和する。 全体として,モデル全体のダイナミクスを抽出し,その情報を用いてニューラルネットワークのトレーニングを導くための経験的枠組みを提案する。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
  本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。 本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。 実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-05-29T14:29:12Z)
• Explaining Deep Models through Forgettable Learning Dynamics [12.653673008542155]
  学習中の学習行動の可視化には,その後の学習の時期において,サンプルがどれだけ多く学習され,忘れられるかを追跡する。 この現象に触発されて,この情報を積極的に利用してモデル内のデータ表現を変化させる新たなセグメンテーション手法を提案する。
  論文  参考訳（メタデータ） (2023-01-10T21:59:20Z)
• Taxonomizing local versus global structure in neural network loss landscapes [60.206524503782006]
  ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。 また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
  論文  参考訳（メタデータ） (2021-07-23T13:37:14Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• A Visual Analytics Framework for Explaining and Diagnosing Transfer Learning Processes [42.57604833160855]
  本稿では,深層ニューラルネットワークの学習における伝達学習プロセスの多段階探索のための視覚分析フレームワークを提案する。 本フレームワークは,ニューラルネットワークの深層学習において,既存のモデルから学習した知識がどのように新たな学習タスクに変換されるかを説明するために,マルチアスペクト設計を確立する。
  論文  参考訳（メタデータ） (2020-09-15T05:59:00Z)
• Deep learning of contagion dynamics on complex networks [0.0]
  本稿では,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングに基づく補完的アプローチを提案する。 任意のネットワーク構造をシミュレーションすることで,学習したダイナミックスの性質を学習データを超えて探索することが可能になる。 この結果は,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングが新たな補完的な視点を提供することを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:18:34Z)
• Gradients as Features for Deep Representation Learning [26.996104074384263]
  本稿では,事前学習したディープ・ネットワークを様々なタスクに適応させることによって,ディープ・表現学習の課題に対処する。 我々の重要な革新は、事前訓練されたネットワークの勾配と活性化の両方を組み込んだ線形モデルの設計である。 我々は,実際の勾配を計算せずに,モデルのトレーニングと推論を効率的に行うアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-04-12T02:57:28Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。