論文の概要: Limitations of Deep Learning for Inverse Problems on Digital Hardware

• arxiv url: http://arxiv.org/abs/2202.13490v1
• Date: Mon, 28 Feb 2022 00:20:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 15:48:51.588058
• Title: Limitations of Deep Learning for Inverse Problems on Digital Hardware
• Title（参考訳）: デジタルハードウェアにおける逆問題に対するディープラーニングの限界
• Authors: Holger Boche, Adalbert Fono and Gitta Kutyniok
• Abstract要約: 逆問題(特に測定結果からデータを再構成するタスク)のクラスに着目する。 有限次元逆問題は小さな緩和パラメータに対してバナッハ・マズール計算可能でないことを証明した。
• 参考スコア（独自算出の注目度）: 71.84486326350338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have seen tremendous success over the last years. Since the training is performed on digital hardware, in this paper, we analyze what actually can be computed on current hardware platforms modeled as Turing machines, which would lead to inherent restrictions of deep learning. For this, we focus on the class of inverse problems, which, in particular, encompasses any task to reconstruct data from measurements. We prove that finite-dimensional inverse problems are not Banach-Mazur computable for small relaxation parameters. In fact, our result even holds for Borel-Turing computability., i.e., there does not exist an algorithm which performs the training of a neural network on digital hardware for any given accuracy. This establishes a conceptual barrier on the capabilities of neural networks for finite-dimensional inverse problems given that the computations are performed on digital hardware.
• Abstract（参考訳）: ディープニューラルネットワークはここ数年で大きな成功を収めている。 このトレーニングは,デジタルハードウェア上で行われるので,本論文では,チューリングマシンとしてモデル化された現在のハードウェアプラットフォーム上で,実際に何が計算可能かを分析する。 そこで本研究では,特に測定値からデータを再構成するタスクを含む,逆問題の種類に着目した。 有限次元逆問題は小さな緩和パラメータに対してバナッハ・マズール計算可能でないことを証明した。 実際、我々の結果はボレル・チューリング計算可能性にも当てはまる。 すなわち、任意の精度でデジタルハードウェア上でニューラルネットワークのトレーニングを実行するアルゴリズムは存在しない。 このことは、計算がデジタルハードウェア上で実行されることを考えると、有限次元逆問題に対するニューラルネットワークの能力に対する概念的障壁を確立する。

関連論文リスト

• Higher-order topological kernels via quantum computation [68.8204255655161]
  トポロジカルデータ分析(TDA)は、複雑なデータから意味のある洞察を抽出する強力なツールとして登場した。 本稿では,ベッチ曲線の次数増加に基づくBettiカーネルの量子的定義法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T14:48:52Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Accelerating the training of single-layer binary neural networks using the HHL quantum algorithm [58.720142291102135]
  Harrow-Hassidim-Lloyd (HHL) の量子力学的実装から有用な情報が抽出可能であることを示す。 しかし,本論文では,HHLの量子力学的実装から有用な情報を抽出し,古典的側面における解を見つける際の複雑性を低減することを目的としている。
  論文  参考訳（メタデータ） (2022-10-23T11:58:05Z)
• Near-Exact Recovery for Tomographic Inverse Problems via Deep Learning [3.441021278275805]
  本稿では,反復的なエンドツーエンドネットワーク方式により,数値的精度に近い再構成が可能となることを示す。 また、オープンアクセスの実世界のデータセットLoDoPaB CT上で、最先端のパフォーマンスを実証する。
  論文  参考訳（メタデータ） (2022-06-14T10:06:41Z)
• Deep neural networks can stably solve high-dimensional, noisy, non-linear inverse problems [2.6651200086513107]
  本研究では,雑音測定のみが可能な場合の逆問題に対する解の再構成問題について検討する。 逆演算子に対しては,演算子のロバスト・ツー・ノイズ近似であるニューラルネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-02T08:51:46Z)
• A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
  量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。 近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。 浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
  論文  参考訳（メタデータ） (2021-03-25T06:57:11Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Graphs for deep learning representations [1.0152838128195467]
  グラフ信号処理(GSP)の最近の進歩に基づくグラフ形式化について紹介します。 すなわち、ディープニューラルネットワークの潜在空間を表すためにグラフを使用します。 このグラフ形式化によって,頑健性の確保,学習プロセスの設計における任意の選択量の削減,入力に付加された小さな一般化の改善,計算複雑性の低減など,さまざまな質問に答えることができることが示されています。
  論文  参考訳（メタデータ） (2020-12-14T11:51:23Z)
• Solving Inverse Problems With Deep Neural Networks -- Robustness Included? [3.867363075280544]
  近年の研究では、複数の画像再構成タスクにおけるディープニューラルネットワークの不安定性が指摘されている。 分類における敵対的攻撃と類似して、入力領域のわずかな歪みが深刻な成果物を生じさせる可能性が示された。 本稿では、未決定の逆問題を解決するためのディープラーニングベースのアルゴリズムの堅牢性について広範な研究を行うことにより、この懸念に新たな光を当てる。
  論文  参考訳（メタデータ） (2020-11-09T09:33:07Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。