論文の概要: Cascaded Compressed Sensing Networks: A Reversible Architecture for Layerwise Learning

• arxiv url: http://arxiv.org/abs/2110.10379v1
• Date: Wed, 20 Oct 2021 05:21:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 17:36:50.175483
• Title: Cascaded Compressed Sensing Networks: A Reversible Architecture for Layerwise Learning
• Title（参考訳）: Cascaded Compressed Sensing Networks: 階層学習のための可逆的アーキテクチャ
• Authors: Weizhi Lu, Mingrui Chen, Kai Guo and Weiyu Li
• Abstract要約: 提案手法は, 補助ネットワークを必要とせずに, 圧縮センシングにより各層にネットワークをモデル化することにより, 対象の伝搬を実現することができることを示す。 実験により,提案手法は補助的なネットワークベース手法よりも優れた性能が得られることが示された。
• 参考スコア（独自算出の注目度）: 11.721183551822097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the method that learns networks layer by layer has attracted increasing interest for its ease of analysis. For the method, the main challenge lies in deriving an optimization target for each layer by inversely propagating the global target of the network. The propagation problem is ill posed, due to involving the inversion of nonlinear activations from lowdimensional to high-dimensional spaces. To address the problem, the existing solution is to learn an auxiliary network to specially propagate the target. However, the network lacks stability, and moreover, it results in higher complexity for network learning. In the letter, we show that target propagation could be achieved by modeling the network s each layer with compressed sensing, without the need of auxiliary networks. Experiments show that the proposed method could achieve better performance than the auxiliary network-based method.
• Abstract（参考訳）: 近年,ネットワーク層を階層的に学習する手法が注目されている。 本手法の主な課題は,ネットワークのグローバルなターゲットを逆伝播させることにより,各レイヤの最適化対象を導出することである。 伝搬問題は、低次元空間から高次元空間への非線形活性化の反転を伴って生じる。 この問題に対処するために、既存の解決策は、ターゲットを特別に伝播する補助ネットワークを学ぶことである。 しかし、ネットワークは安定性に欠けており、ネットワーク学習の複雑さも高くなる。 本報告では,補助ネットワークを必要とせず,各レイヤのネットワークsを圧縮センシングでモデル化することで,ターゲットの伝搬を実現できることを示す。 実験の結果,提案手法は補助ネットワークベース手法よりも優れた性能が得られることがわかった。

関連論文リスト

• Densely Decoded Networks with Adaptive Deep Supervision for Medical Image Segmentation [19.302294715542175]
  本稿では「クラッチ」ネットワーク接続を選択的に導入し、高密度デコードネットワーク(ddn)を提案する。 ネットワークデコーダの各アップサンプリングステージにおける「クラッチ」接続により、ターゲットのローカライゼーションが向上する。 また、適応的な深層監視(ads)に基づくトレーニング戦略を提案し、入力データセットの特定の属性を利用して適応する。
  論文  参考訳（メタデータ） (2024-02-05T00:44:57Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna Tuning [60.94661435297309]
  モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。 本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。 シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2023-01-20T17:06:34Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Deep Networks from the Principle of Rate Reduction [32.87280757001462]
  この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。 学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。 この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
  論文  参考訳（メタデータ） (2020-10-27T06:01:43Z)
• Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
  レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。 レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。 本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
  論文  参考訳（メタデータ） (2020-10-15T21:51:43Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Differentiable Sparsification for Deep Neural Networks [0.0]
  本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。 提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。 私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
  論文  参考訳（メタデータ） (2019-10-08T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。