論文の概要: Implicitly Defined Layers in Neural Networks

• arxiv url: http://arxiv.org/abs/2003.01822v2
• Date: Wed, 3 Jun 2020 01:36:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 23:01:02.574449
• Title: Implicitly Defined Layers in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける暗黙的に定義された層
• Authors: Qianggong Zhang, Yanyang Gu, Michalkiewicz Mateusz, Mahsa Baktashmotlagh, Anders Eriksson
• Abstract要約: ニューラルネットワーク内の個々の層を定義することは、標準的な明示的な層よりもはるかにリッチな表現を提供することを示す。 既存の機械学習ライブラリに暗黙的に定義されたレイヤをシームレスに組み込む方法を示す。
• 参考スコア（独自算出の注目度）: 12.167549413547908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In conventional formulations of multilayer feedforward neural networks, the individual layers are customarily defined by explicit functions. In this paper we demonstrate that defining individual layers in a neural network \emph{implicitly} provide much richer representations over the standard explicit one, consequently enabling a vastly broader class of end-to-end trainable architectures. We present a general framework of implicitly defined layers, where much of the theoretical analysis of such layers can be addressed through the implicit function theorem. We also show how implicitly defined layers can be seamlessly incorporated into existing machine learning libraries. In particular with respect to current automatic differentiation techniques for use in backpropagation based training. Finally, we demonstrate the versatility and relevance of our proposed approach on a number of diverse example problems with promising results.
• Abstract（参考訳）: 従来の多層フィードフォワードニューラルネットワークの定式化では、個々の層は明示的に定義される。 本稿では、ニューラルネットワークにおける個々のレイヤの定義が、標準の明示的なレイヤよりもずっとリッチな表現を提供し、エンドツーエンドのトレーニング可能なアーキテクチャの幅広いクラスを可能にすることを実証する。 我々は,このような層の理論解析の多くを暗黙的関数定理によって解決できる,暗黙的に定義された層の一般的な枠組みを提案する。 また,既存の機械学習ライブラリに暗黙的に定義されたレイヤをシームレスに組み込む方法を示す。 特に、バックプロパゲーションに基づくトレーニングで使用する現在の自動微分技術について。 最後に,提案手法の汎用性と妥当性を,有望な結果を伴う多種多様な実例問題に対して示す。

関連論文リスト

• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Multilevel-in-Layer Training for Deep Neural Network Regression [1.6185544531149159]
  ニューラルネットワークの階層構造を構築し,訓練する多段階正規化戦略を提案する。 我々はPDE回帰問題を用いて,本手法が効果的な正則化手法であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T23:53:46Z)
• On skip connections and normalisation layers in deep optimisation [32.51139594406463]
  本稿では、ディープニューラルネットワークの最適化研究のための一般的な理論的枠組みを紹介する。 本フレームワークは多層損失景観の曲率および規則性特性を決定する。 スキップ接続がトレーニングを加速する新しい因果メカニズムを同定する。
  論文  参考訳（メタデータ） (2022-10-10T06:22:46Z)
• Neural network layers as parametric spans [0.0]
  本稿では、積分理論とパラメトリックスパンの概念に基づく分類的枠組みから生じる線形層の定義について述べる。 この定義は古典的な層(例えば、密度、畳み込み)を一般化し包含し、バックプロパゲーションのために層の微分の存在と計算可能性を保証する。
  論文  参考訳（メタデータ） (2022-08-01T12:41:22Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Explainability-aided Domain Generalization for Image Classification [0.0]
  説明可能性文献から手法やアーキテクチャを適用することで、ドメインの一般化という困難な課題に対して最先端のパフォーマンスを達成できることを示す。 そこで我々は,勾配に基づくクラスアクティベーションマップを用いて学習中にネットワークが指導を受ける手法であるDivCAMを含む新しいアルゴリズムを開発し,多様な識別機能に焦点をあてる。 これらの手法は、説明可能性に加えて競合性能を提供するため、深層ニューラルネットワークアーキテクチャのロバスト性を改善するツールとして使用できると論じる。
  論文  参考訳（メタデータ） (2021-04-05T02:27:01Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。