論文の概要: Reframing Neural Networks: Deep Structure in Overcomplete Representations

• arxiv url: http://arxiv.org/abs/2103.05804v1
• Date: Wed, 10 Mar 2021 01:15:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 15:04:37.987371
• Title: Reframing Neural Networks: Deep Structure in Overcomplete Representations
• Title（参考訳）: ニューラルネットワークのオーバーコンプリート表現における深い構造
• Authors: Calvin Murdock and Simon Lucey
• Abstract要約: 本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。 表現一意性と安定性に関連付けられたデータ非依存的なコヒーレンス尺度であるdeep frame potentialとの構造的差異を定量化する。 この超完全表現の確立された理論への接続は、原理化されたディープネットワークアーキテクチャ設計の新たな方向性を示唆している。
• 参考スコア（独自算出の注目度）: 41.84502123663809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In comparison to classical shallow representation learning techniques, deep neural networks have achieved superior performance in nearly every application benchmark. But despite their clear empirical advantages, it is still not well understood what makes them so effective. To approach this question, we introduce deep frame approximation, a unifying framework for representation learning with structured overcomplete frames. While exact inference requires iterative optimization, it may be approximated by the operations of a feed-forward deep neural network. We then indirectly analyze how model capacity relates to the frame structure induced by architectural hyperparameters such as depth, width, and skip connections. We quantify these structural differences with the deep frame potential, a data-independent measure of coherence linked to representation uniqueness and stability. As a criterion for model selection, we show correlation with generalization error on a variety of common deep network architectures such as ResNets and DenseNets. We also demonstrate how recurrent networks implementing iterative optimization algorithms achieve performance comparable to their feed-forward approximations. This connection to the established theory of overcomplete representations suggests promising new directions for principled deep network architecture design with less reliance on ad-hoc engineering.
• Abstract（参考訳）: 従来の浅い表現学習技術と比較して、ディープニューラルネットワークはほぼすべてのアプリケーションベンチマークで優れたパフォーマンスを達成しています。 しかし、その明確な実証的利点にもかかわらず、なぜそのような効果があるのかはまだよく分かっていない。 本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。 正確な推論には反復最適化が必要であるが、フィードフォワードディープニューラルネットワークの操作によって近似することができる。 次に, モデル容量が, 深さ, 幅, スキップ接続などの超パラメータによって引き起こされるフレーム構造とどのように関連しているかを間接的に解析する。 これらの構造的差異を、表現の特異性と安定性に結びついたデータ非依存なコヒーレンス尺度であるディープフレームポテンシャルで定量化する。 モデル選択の基準として,resnets や densenets など,一般的なディープネットワークアーキテクチャ上での一般化誤差との相関性を示す。 また,反復最適化アルゴリズムを実装した繰り返しネットワークが,フィードフォワード近似に匹敵する性能を実現することを示す。 この確立されたオーバーコンプリート表現の理論との接続は、アドホックなエンジニアリングに依存しない原則付きディープネットワークアーキテクチャ設計の新たな方向性を示唆している。

関連論文リスト

• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
  本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。 本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-25T11:53:06Z)
• Operator Learning Meets Numerical Analysis: Improving Neural Networks through Iterative Methods [2.226971382808806]
  演算子方程式の反復的手法に基づく理論的枠組みを開発する。 拡散モデルやAlphaFoldのような一般的なアーキテクチャは本質的に反復的演算子学習を採用していることを実証する。 本研究の目的は,数値解析から洞察を融合させることにより,ディープラーニングの理解を深めることである。
  論文  参考訳（メタデータ） (2023-10-02T20:25:36Z)
• Optimisation & Generalisation in Networks of Neurons [8.078758339149822]
  この論文の目的は、人工ニューラルネットワークにおける学習の最適化と一般化理論の基礎を開発することである。 アーキテクチャに依存した一階最適化アルゴリズムを導出するための新しい理論的枠組みを提案する。 ネットワークと個々のネットワークのアンサンブルの間には,新たな対応関係が提案されている。
  論文  参考訳（メタデータ） (2022-10-18T18:58:40Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification [8.976788958300766]
  本研究は、神経構造とそのエッジウェイトの役割を解消する問題について考察する。 十分に訓練されたアーキテクチャでは、重み付けのリンク固有の微調整は不要である。 我々は、ハードアーキテクチャ探索問題を実現可能な最適化問題に変換する、新しい計算効率のよい手法を用いる。
  論文  参考訳（メタデータ） (2020-09-11T11:22:22Z)
• Adversarially Robust Neural Architectures [43.74185132684662]
  本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。 本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。 提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
  論文  参考訳（メタデータ） (2020-09-02T08:52:15Z)
• Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
  ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。 本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。 モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
  論文  参考訳（メタデータ） (2020-03-30T23:27:25Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。