論文の概要: On the interplay between physical and content priors in deep learning for computational imaging

• arxiv url: http://arxiv.org/abs/2004.06355v1
• Date: Tue, 14 Apr 2020 08:36:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 10:18:05.214908
• Title: On the interplay between physical and content priors in deep learning for computational imaging
• Title（参考訳）: 計算画像のための深層学習における物理とコンテンツの相互作用について
• Authors: Mo Deng, Shuai Li, Iksung Kang, Nicholas X. Fang and George Barbastathis
• Abstract要約: 我々は、レンズレス位相イメージングシステムにおいて、位相抽出ニューラルネットワーク(PhENN)を用いて定量的位相検索を行う。 2つの質問が関連していることを示し、トレーニング例の選択という共通点を共有します。 また, より弱い正規化効果により, 基礎となる伝搬モデルの学習性が向上することが判明した。
• 参考スコア（独自算出の注目度）: 5.486833154281385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning (DL) has been applied extensively in many computational imaging problems, often leading to superior performance over traditional iterative approaches. However, two important questions remain largely unanswered: first, how well can the trained neural network generalize to objects very different from the ones in training? This is particularly important in practice, since large-scale annotated examples similar to those of interest are often not available during training. Second, has the trained neural network learnt the underlying (inverse) physics model, or has it merely done something trivial, such as memorizing the examples or point-wise pattern matching? This pertains to the interpretability of machine-learning based algorithms. In this work, we use the Phase Extraction Neural Network (PhENN), a deep neural network (DNN) for quantitative phase retrieval in a lensless phase imaging system as the standard platform and show that the two questions are related and share a common crux: the choice of the training examples. Moreover, we connect the strength of the regularization effect imposed by a training set to the training process with the Shannon entropy of images in the dataset. That is, the higher the entropy of the training images, the weaker the regularization effect can be imposed. We also discover that weaker regularization effect leads to better learning of the underlying propagation model, i.e. the weak object transfer function, applicable for weakly scattering objects under the weak object approximation. Finally, simulation and experimental results show that better cross-domain generalization performance can be achieved if DNN is trained on a higher-entropy database, e.g. the ImageNet, than if the same DNN is trained on a lower-entropy database, e.g. MNIST, as the former allows the underlying physics model be learned better than the latter.
• Abstract（参考訳）: ディープ・ラーニング(DL)は多くの計算画像問題に広く適用されており、しばしば従来の反復法よりも優れた性能をもたらす。 第一に、トレーニングされたニューラルネットワークは、トレーニング中のものと非常に異なるオブジェクトに対して、どの程度うまく一般化できるのか? これは実際には特に重要であり、興味のあるものに似た大規模な注釈付き例が訓練中に利用できないことが多い。 第二に、トレーニングされたニューラルネットワークは、基礎となる(逆)物理モデルを学んだのか、それとも、例やポイントワイズパターンマッチングを記憶するなど、単に簡単なことをしただけなのか? これは機械学習に基づくアルゴリズムの解釈可能性に関するものである。 本研究では,レンズレス位相撮像システムにおける定量的位相検索のためのディープニューラルネットワーク(dnn)である位相抽出ニューラルネットワーク(phenn)を標準プラットフォームとして使用し,この2つの質問が関連していることを示す。 さらに,データセット内の画像のシャノンエントロピーとともに,トレーニングにより課される正規化効果の強さをトレーニングプロセスに関連付ける。 すなわち、トレーニング画像のエントロピーが高くなるほど、正規化効果が弱くなる。 また,弱正規化効果は,弱物体近似の下での弱散乱対象に適用可能な,弱物体伝達関数(weak object transfer function)の基盤となる伝播モデルの学習を改善することを見出した。 最後に、シミュレーションと実験結果から、DNNが高エントロピーデータベース(例えばImageNet)でトレーニングされた場合、DNNが低エントロピーデータベース(例えばMNIST)でトレーニングされた場合よりも、基礎となる物理モデルを後者よりもよく学習できた場合、ドメイン間の一般化性能が向上することを示した。

関連論文リスト

• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks [2.580765958706854]
  我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。 逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
  論文  参考訳（メタデータ） (2021-07-02T10:01:37Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Retrieval Augmentation to Improve Robustness and Interpretability of Deep Neural Networks [3.0410237490041805]
  本研究では,深層ニューラルネットワークの堅牢性と解釈性を改善するために,トレーニングデータを積極的に活用する。 具体的には、LSTMモデルのメモリ状態を初期化したり、注意機構を誘導するために、最も近い入力例のターゲットを用いる。 その結果,Flickr8 と IMDB の2つのタスクに対して提案したモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-02-25T17:38:31Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)
• BP-DIP: A Backprojection based Deep Image Prior [49.375539602228415]
  画像復元手法として, (i)Deep Image Prior (DIP) と (ii) バックプロジェクション (BP) の2つの手法を提案する。 提案手法はBP-DIP(BP-DIP)と呼ばれ,高いPSNR値とより優れた推論実行時間を持つ通常のDIPよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-11T17:09:12Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。