論文の概要: Understanding Deep Architectures with Reasoning Layer

• arxiv url: http://arxiv.org/abs/2006.13401v2
• Date: Thu, 29 Oct 2020 22:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:16:16.787513
• Title: Understanding Deep Architectures with Reasoning Layer
• Title（参考訳）: 推論レイヤによる深層アーキテクチャの理解
• Authors: Xinshi Chen, Yufei Zhang, Christoph Reisinger, Le Song
• Abstract要約: 本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。 私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
• 参考スコア（独自算出の注目度）: 60.90906477693774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there has been a surge of interest in combining deep learning models with reasoning in order to handle more sophisticated learning tasks. In many cases, a reasoning task can be solved by an iterative algorithm. This algorithm is often unrolled, and used as a specialized layer in the deep architecture, which can be trained end-to-end with other neural components. Although such hybrid deep architectures have led to many empirical successes, the theoretical foundation of such architectures, especially the interplay between algorithm layers and other neural layers, remains largely unexplored. In this paper, we take an initial step towards an understanding of such hybrid deep architectures by showing that properties of the algorithm layers, such as convergence, stability, and sensitivity, are intimately related to the approximation and generalization abilities of the end-to-end model. Furthermore, our analysis matches closely our experimental observations under various conditions, suggesting that our theory can provide useful guidelines for designing deep architectures with reasoning layers.
• Abstract（参考訳）: 近年,より高度な学習課題を扱うために,ディープラーニングモデルと推論を組み合わせることへの関心が高まっている。 多くの場合、推論タスクは反復アルゴリズムによって解くことができる。 このアルゴリズムは頻繁に展開され、ディープアーキテクチャの特殊な層として使われ、他の神経コンポーネントとエンドツーエンドでトレーニングすることができる。 このようなハイブリッドなディープアーキテクチャは多くの経験的成功をもたらしたが、そのようなアーキテクチャの理論的基盤、特にアルゴリズム層と他のニューラルネットワーク層との相互作用は、ほとんど解明されていない。 本稿では,このようなハイブリッドな深層アーキテクチャを理解するための最初のステップとして,収束,安定性,感度といったアルゴリズム層の性質が,エンドツーエンドモデルの近似および一般化能力と密接な関係にあることを示す。 さらに,様々な条件下での実験的な観測結果と密接に一致し,推論層を用いた深層アーキテクチャ設計に有用なガイドラインを提供できることを示唆した。

関連論文リスト

• Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
  10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。 ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。 構造は違いをもたらすのか、それとも任意に選択できるのか?
  論文  参考訳（メタデータ） (2024-10-12T16:13:28Z)
• Towards Understanding Mixture of Experts in Deep Learning [95.27215939891511]
  ニューラルネットワーク学習におけるMoE層の性能向上について検討する。 この結果から,基礎となる問題のクラスタ構造と専門家の非線形性は,MoEの成功に欠かせないことが示唆された。
  論文  参考訳（メタデータ） (2022-08-04T17:59:10Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Fault-Tolerant Deep Learning: A Hierarchical Perspective [12.315753706063324]
  我々は、フォールトトレラントなディープラーニング設計アプローチに関する総合的な調査を行う。 モデル層, アーキテクチャ層, 回路層, クロス層からのアプローチについて検討する。
  論文  参考訳（メタデータ） (2022-04-05T02:31:18Z)
• The Modern Mathematics of Deep Learning [8.939008609565368]
  深層学習の数学的解析の新しい分野について述べる。 この分野は、古典的な学習理論の中では答えられなかった研究課題の一覧に現れている。 選択されたアプローチについては、主なアイデアをより詳細に説明します。
  論文  参考訳（メタデータ） (2021-05-09T21:30:42Z)
• Recent advances in deep learning theory [104.01582662336256]
  本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。 文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
  論文  参考訳（メタデータ） (2020-12-20T14:16:41Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)
• Structure preserving deep learning [1.2263454117570958]
  深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。 ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。 既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
  論文  参考訳（メタデータ） (2020-06-05T10:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。