論文の概要: Structure preserving deep learning

• arxiv url: http://arxiv.org/abs/2006.03364v1
• Date: Fri, 5 Jun 2020 10:59:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 03:25:15.697214
• Title: Structure preserving deep learning
• Title（参考訳）: 深層学習のための構造
• Authors: Elena Celledoni, Matthias J. Ehrhardt, Christian Etmann, Robert I McLachlan, Brynjulf Owren, Carola-Bibiane Sch\"onlieb and Ferdia Sherry
• Abstract要約: 深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。 ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。 既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
• 参考スコア（独自算出の注目度）: 1.2263454117570958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past few years, deep learning has risen to the foreground as a topic of massive interest, mainly as a result of successes obtained in solving large-scale image processing tasks. There are multiple challenging mathematical problems involved in applying deep learning: most deep learning methods require the solution of hard optimisation problems, and a good understanding of the tradeoff between computational effort, amount of data and model complexity is required to successfully design a deep learning approach for a given problem. A large amount of progress made in deep learning has been based on heuristic explorations, but there is a growing effort to mathematically understand the structure in existing deep learning methods and to systematically design new deep learning methods to preserve certain types of structure in deep learning. In this article, we review a number of these directions: some deep neural networks can be understood as discretisations of dynamical systems, neural networks can be designed to have desirable properties such as invertibility or group equivariance, and new algorithmic frameworks based on conformal Hamiltonian systems and Riemannian manifolds to solve the optimisation problems have been proposed. We conclude our review of each of these topics by discussing some open problems that we consider to be interesting directions for future research.
• Abstract（参考訳）: 過去数年間、大規模画像処理タスクの解決に成功して、ディープラーニングが大きな関心を集めているトピックとして、フォアグラウンドに発展してきた。 多くのディープラーニング手法は、ハード最適化問題の解法を必要とし、与えられた問題に対するディープラーニングアプローチをうまく設計するためには、計算の労力、データの量、モデルの複雑さの間のトレードオフを十分に理解する必要がある。 深層学習における多くの進歩はヒューリスティックな探索に基づいているが、既存の深層学習法の構造を数学的に理解し、深層学習におけるある種の構造を保存するための新しい深層学習法を体系的に設計する努力が増えている。 本稿では、いくつかのディープニューラルネットワークを力学系の再考として理解することができ、ニューラルネットワークは可逆性や群同値性などの望ましい性質を持つように設計することができ、また、共形ハミルトニアン系とリーマン多様体に基づく新しいアルゴリズムフレームワークが提案されている。 今後の研究の方向性であると考えられるオープンな問題を議論することで、これらのトピックのレビューを締めくくります。

関連論文リスト

• A Survey on State-of-the-art Deep Learning Applications and Challenges [0.0]
  ディープラーニングモデルの構築は、アルゴリズムの複雑さと現実世界の問題の動的な性質のため、難しい。 本研究の目的は,コンピュータビジョン,自然言語処理,時系列解析,広範コンピューティングにおける最先端のディープラーニングモデルを網羅的にレビューすることである。
  論文  参考訳（メタデータ） (2024-03-26T10:10:53Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Transferability in Deep Learning: A Survey [80.67296873915176]
  知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-15T15:03:17Z)
• The Modern Mathematics of Deep Learning [8.939008609565368]
  深層学習の数学的解析の新しい分野について述べる。 この分野は、古典的な学習理論の中では答えられなかった研究課題の一覧に現れている。 選択されたアプローチについては、主なアイデアをより詳細に説明します。
  論文  参考訳（メタデータ） (2021-05-09T21:30:42Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
  過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。 このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。 CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-04-27T21:09:51Z)
• Discussion of Ensemble Learning under the Era of Deep Learning [4.061135251278187]
  深層学習のアンサンブル化は,学習システムの一般化に大きく貢献している。 複数のベース深層学習者のトレーニングとアンサンブル深層学習者によるテストのための時間と空間のオーバーヘッドは、従来のアンサンブル学習よりもはるかに大きい。 緊急に解決すべき問題は、必要な時間と空間のオーバーヘッドを減らしながら、ディープラーニングをアンサンブルする大きな利点をいかに活用するかである。
  論文  参考訳（メタデータ） (2021-01-21T01:33:23Z)
• Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
  本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。 私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
  論文  参考訳（メタデータ） (2020-06-24T00:26:35Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。