論文の概要: Improved Model based Deep Learning using Monotone Operator Learning (MOL)

• arxiv url: http://arxiv.org/abs/2111.11380v1
• Date: Mon, 22 Nov 2021 17:42:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 17:15:40.657426
• Title: Improved Model based Deep Learning using Monotone Operator Learning (MOL)
• Title（参考訳）: 単調演算子学習(MOL)を用いたモデルベース深層学習の改良
• Authors: Aniket Pramanik, Mathews Jacob
• Abstract要約: アンローリングに依存するMoDLアルゴリズムは、イメージリカバリのための強力なツールとして登場している。 我々は,現在展開されていないフレームワークに関連するいくつかの課題を克服するために,新しいモノトーン演算子学習フレームワークを導入する。 並列MRIにおける提案手法の有用性を実証する。
• 参考スコア（独自算出の注目度）: 25.077510176642807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-based deep learning (MoDL) algorithms that rely on unrolling are emerging as powerful tools for image recovery. In this work, we introduce a novel monotone operator learning framework to overcome some of the challenges associated with current unrolled frameworks, including high memory cost, lack of guarantees on robustness to perturbations, and low interpretability. Unlike current unrolled architectures that use finite number of iterations, we use the deep equilibrium (DEQ) framework to iterate the algorithm to convergence and to evaluate the gradient of the convolutional neural network blocks using Jacobian iterations. This approach significantly reduces the memory demand, facilitating the extension of MoDL algorithms to high dimensional problems. We constrain the CNN to be a monotone operator, which allows us to introduce algorithms with guaranteed convergence properties and robustness guarantees. We demonstrate the utility of the proposed scheme in the context of parallel MRI.
• Abstract（参考訳）: アンローリングに依存するモデルベースディープラーニング(MoDL)アルゴリズムが,イメージリカバリの強力なツールとして登場している。 本研究では,メモリコストの増大,摂動に対するロバスト性保証の欠如,低解釈性など,現在の未ロールフレームワークに関連する課題を克服するための,新しいモノトーン演算子学習フレームワークを提案する。 有限個の繰り返しを使用する現在のアンロールアーキテクチャとは異なり、我々はDeep equilibrium(DEQ)フレームワークを使用してアルゴリズムを収束させ、ジャコビアン反復を用いて畳み込みニューラルネットワークブロックの勾配を評価する。 このアプローチはメモリ需要を大幅に削減し、高次元問題へのMoDLアルゴリズムの拡張を容易にする。 我々はcnnをモノトーン演算子に制限することで、収束特性とロバスト性保証が保証されたアルゴリズムを導入することができる。 並列MRIにおける提案手法の有用性を実証する。

関連論文リスト

• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Local monotone operator learning using non-monotone operators: MnM-MOL [13.037647287689442]
  磁気共鳴(MR)画像のアンダーサンプル計測からの復元は、近年広く研究されている重要な問題である。 アンロールされたアプローチは、畳み込みニューラルネットワーク(CNN)ブロックのエンドツーエンドトレーニングを制限する。 MOLアプローチを導入し、アンローリングの必要性を排除し、トレーニング中のメモリ需要を減らす。
  論文  参考訳（メタデータ） (2023-12-01T07:15:51Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Accelerated parallel MRI using memory efficient and robust monotone operator learning (MOL) [24.975981795360845]
  本稿では,並列MRIにおける単調演算子学習フレームワークの有用性について検討する。 このアプローチの利点は、一意性、収束性、安定性を含む圧縮センシングアルゴリズムと同様の保証を含む。 静的および動的設定のための高速化並列MRIのコンテキストにおいて,異なるアンロールアルゴリズムと比較することにより,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-04-03T20:26:59Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Improving Gradient Flow with Unrolled Highway Expectation Maximization [0.9539495585692008]
  本稿では,一般化EM (GEM) アルゴリズムの非順序反復からなるハイウェイ予測最大化ネットワーク (HEMNet) を提案する。 HEMNetは、スケールしたスキップ接続、あるいはハイウェイを、非ロールアーキテクチャの深さに沿って備えており、バックプロパゲーション時の勾配フローが改善されている。 複数のセマンティクスセグメンテーションベンチマークにおいて有意な改善を達成し,hemnetが勾配減衰を効果的に緩和することを示す。
  論文  参考訳（メタデータ） (2020-12-09T09:11:45Z)
• Learnable Descent Algorithm for Nonsmooth Nonconvex Image Reconstruction [4.2476585678737395]
  非滑らかな非画像再構成問題を解決するための一般学習ベースのフレームワークを提案する。 提案手法は,画像における画像問題における効率のよい収束状態であることを示す。
  論文  参考訳（メタデータ） (2020-07-22T07:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。