論文の概要: Learned Greedy Method (LGM): A Novel Neural Architecture for Sparse Coding and Beyond

• arxiv url: http://arxiv.org/abs/2010.07069v2
• Date: Tue, 20 Oct 2020 14:44:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 13:01:26.728619
• Title: Learned Greedy Method (LGM): A Novel Neural Architecture for Sparse Coding and Beyond
• Title（参考訳）: Learned Greedy Method (LGM): スパースコーディングとそれを超える新しいニューラルアーキテクチャ
• Authors: Rajaei Khatib, Dror Simon and Michael Elad
• Abstract要約: 同じ目的のために,欲求追従アルゴリズムの展開版を提案する。 Learned Greedy Method(LGM)のキーとなる特徴は、動的に展開された複数のレイヤに対応する能力である。
• 参考スコア（独自算出の注目度）: 24.160276545294288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fields of signal and image processing have been deeply influenced by the introduction of deep neural networks. These are successfully deployed in a wide range of real-world applications, obtaining state of the art results and surpassing well-known and well-established classical methods. Despite their impressive success, the architectures used in many of these neural networks come with no clear justification. As such, these are usually treated as "black box" machines that lack any kind of interpretability. A constructive remedy to this drawback is a systematic design of such networks by unfolding well-understood iterative algorithms. A popular representative of this approach is the Iterative Shrinkage-Thresholding Algorithm (ISTA) and its learned version -- LISTA, aiming for the sparse representations of the processed signals. In this paper we revisit this sparse coding task and propose an unfolded version of a greedy pursuit algorithm for the same goal. More specifically, we concentrate on the well-known Orthogonal-Matching-Pursuit (OMP) algorithm, and introduce its unfolded and learned version. Key features of our Learned Greedy Method (LGM) are the ability to accommodate a dynamic number of unfolded layers, and a stopping mechanism based on representation error, both adapted to the input. We develop several variants of the proposed LGM architecture and test some of them in various experiments, demonstrating their flexibility and efficiency.
• Abstract（参考訳）: 信号と画像処理の分野は、ディープニューラルネットワークの導入によって大きく影響を受けている。 これらは、様々な現実世界の応用で成功し、技術結果の状態を入手し、よく知られた、確立された古典的手法を超越している。 彼らの素晴らしい成功にもかかわらず、これらのニューラルネットワークで使われているアーキテクチャには明確な正当化がない。 そのため、これらは通常、いかなる解釈可能性も欠く「ブラックボックス」マシンとして扱われる。 この欠点に対する建設的対策は、よく理解された反復アルゴリズムを広げることで、そのようなネットワークの体系的な設計である。 このアプローチの一般的な代表者は、反復収縮閾値保持アルゴリズム(ISTA)とその学習されたバージョン -- LISTAであり、処理された信号のスパース表現を目指している。 本稿では,このスパース符号化タスクを再検討し,同じ目標に対してグリーディ追従アルゴリズムの展開版を提案する。 より具体的には、Orthogonal-Matching-Pursuit (OMP)アルゴリズムに集中し、その展開と学習版を紹介する。 Learned Greedy Method (LGM) の主な特徴は、動的に展開されたレイヤーの数に適応できる機能と、入力に適応した表現エラーに基づく停止機構である。 提案するlgmアーキテクチャのいくつかの変種を開発し,それらのいくつかを様々な実験でテストし,その柔軟性と効率を実証した。

関連論文リスト

• Enhancing Convolutional Neural Networks with Higher-Order Numerical Difference Methods [6.26650196870495]
  畳み込みニューラルネットワーク(CNN)は、人間が多くの現実世界の問題を解決するのを助けることができる。 本稿では,CNNの性能向上を目的とした線形多段階法に基づく重ね合わせ手法を提案する。
  論文  参考訳（メタデータ） (2024-09-08T05:13:58Z)
• Training Neural Networks with Internal State, Unconstrained Connectivity, and Discrete Activations [66.53734987585244]
  真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。 このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。 このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
  論文  参考訳（メタデータ） (2023-12-22T01:19:08Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Understanding Neural Code Intelligence Through Program Simplification [3.9704927572880253]
  コードインテリジェンスシステムにおけるモデルに対する重要な入力特徴を特定するためのモデルに依存しないアプローチを提案する。 当社のアプローチであるSIVANDでは,CIモデルの入力プログラムのサイズを縮小する単純化手法を採用しています。 SIVANDの抽出した特徴は、ニューラルCIシステムの予測と学習行動を理解するのに役立つと信じている。
  論文  参考訳（メタデータ） (2021-06-07T05:44:29Z)
• Towards Sample Efficient Agents through Algorithmic Alignment [25.23741737716188]
  我々は深層グラフ価値ネットワーク(DeepGV)を,深部強化学習エージェントのサンプル複雑性を回避するための有望な手法として提案し,検討する。 主な考え方は、エージェントは動的プログラミングのような構造化された非神経ネットワークアルゴリズムでガイドされるべきである。
  論文  参考訳（メタデータ） (2020-08-07T15:44:32Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Lossless Compression of Deep Neural Networks [17.753357839478575]
  ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。 モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。 生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-01T15:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。