論文の概要: Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork

• arxiv url: http://arxiv.org/abs/2101.04348v1
• Date: Tue, 12 Jan 2021 08:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 10:32:38.258547
• Title: Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork
• Title（参考訳）: ハイパーネットワークに基づく期待整合信号回復アルゴリズムを用いた位相検索
• Authors: Chang-Jen Wang, Chao-Kai Wen, Shang-Ho (Lawrence) Tsai, Shi Jin, Geoffrey Ye Li
• Abstract要約: 位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 73.94896986868146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Phase retrieval (PR) is an important component in modern computational imaging systems. Many algorithms have been developed over the past half century. Recent advances in deep learning have opened up a new possibility for robust and fast PR. An emerging technique, called deep unfolding, provides a systematic connection between conventional model-based iterative algorithms and modern data-based deep learning. Unfolded algorithms, powered by data learning, have shown remarkable performance and convergence speed improvement over the original algorithms. Despite their potential, most existing unfolded algorithms are strictly confined to a fixed number of iterations when employing layer-dependent parameters. In this study, we develop a novel framework for deep unfolding to overcome the existing limitations. Even if our framework can be widely applied to general inverse problems, we take PR as an example in the paper. Our development is based on an unfolded generalized expectation consistent signal recovery (GEC-SR) algorithm, wherein damping factors are left for data-driven learning. In particular, we introduce a hypernetwork to generate the damping factors for GEC-SR. Instead of directly learning a set of optimal damping factors, the hypernetwork learns how to generate the optimal damping factors according to the clinical settings, thus ensuring its adaptivity to different scenarios. To make the hypernetwork work adapt to varying layer numbers, we use a recurrent architecture to develop a dynamic hypernetwork, which generates a damping factor that can vary online across layers. We also exploit a self-attention mechanism to enhance the robustness of the hypernetwork. Extensive experiments show that the proposed algorithm outperforms existing ones in convergence speed and accuracy, and still works well under very harsh settings, that many classical PR algorithms unstable or even fail.
• Abstract（参考訳）: 位相検索(PR)は現代の計算イメージングシステムにおいて重要な要素である。 過去半世紀にわたって多くのアルゴリズムが開発されてきた。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 deep unfoldingと呼ばれる新たなテクニックは、従来のモデルベースの反復アルゴリズムと、現代的なデータベースのディープラーニングとの系統的な接続を提供する。 データ学習を利用した展開アルゴリズムは、元のアルゴリズムよりも顕著な性能と収束速度の向上を示した。 その可能性にもかかわらず、既存の展開アルゴリズムのほとんどは、層依存パラメータを使用する場合、一定の数の反復に限られる。 本研究では,既存の制約を克服するために,深い展開のための新しい枠組みを開発する。 一般の逆問題に対して,我々のフレームワークが広く適用可能であるとしても,PRを例として取り上げる。 我々の開発は、データ駆動学習において減衰因子が残される一般化予測整合信号回復アルゴリズム(GEC-SR)に基づいている。 特に, GEC-SR の減衰係数を生成するハイパーネットワークを導入する。 最適な減衰因子を直接学習する代わりに、ハイパーネットワークは、臨床設定に従って最適な減衰因子を生成する方法を学び、異なるシナリオへの適応性を確保する。 ハイパーネットワークの動作を異なるレイヤ番号に適応させるため、私たちはリカレントアーキテクチャを使用して動的ハイパーネットワークを開発し、レイヤ間でオンラインに変化可能な減衰係数を生成します。 また,ハイパーネットワークのロバスト性を高めるために自己アテンション機構を利用する。 大規模な実験により、提案アルゴリズムは収束速度と精度で既存のアルゴリズムより優れており、多くの古典的PRアルゴリズムが不安定または失敗する非常に厳しい条件下でも機能することが示された。

関連論文リスト

• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Forward-Forward Algorithm for Hyperspectral Image Classification: A Preliminary Study [0.0]
  フォワードフォワードアルゴリズム(FFA)は、ネットワークパラメータを最適化するために局所良性関数を計算する。 本研究では,FFAのハイパースペクトル画像分類への応用について検討した。
  論文  参考訳（メタデータ） (2023-07-01T05:39:28Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。