論文の概要: A Two-step-training Deep Learning Framework for Real-time Computational
Imaging without Physics Priors
- arxiv url: http://arxiv.org/abs/2001.03493v3
- Date: Tue, 18 Aug 2020 13:57:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 23:40:01.546579
- Title: A Two-step-training Deep Learning Framework for Real-time Computational
Imaging without Physics Priors
- Title（参考訳）: 物理に先行しないリアルタイム計算イメージングのための2段階学習型ディープラーニングフレームワーク
- Authors: Ruibo Shang, Kevin Hoffer-Hawlik, Geoffrey P. Luke
- Abstract要約: 本稿では,物理を前提としないリアルタイムな計算画像作成のための2段階学習用DL(TST-DL)フレームワークを提案する。
まず、モデルを直接学習するために、単一の完全接続層(FCL)をトレーニングする。
そして、このFCLを未訓練のU-Netアーキテクチャで固定固定し、第2ステップのトレーニングを行い、出力画像の忠実性を改善する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning (DL) is a powerful tool in computational imaging for many
applications. A common strategy is to reconstruct a preliminary image as the
input of a neural network to achieve an optimized image. Usually, the
preliminary image is acquired with the prior knowledge of the imaging model.
One outstanding challenge, however, is the degree to which the actual imaging
model deviates from the assumed model. Model mismatches degrade the quality of
the preliminary image and therefore affect the DL predictions. Another main
challenge is that since most imaging inverse problems are ill-posed and the
networks are over-parameterized, DL networks have flexibility to extract
features from the data that are not directly related to the imaging model. To
solve these challenges, a two-step-training DL (TST-DL) framework is proposed
for real-time computational imaging without physics priors. First, a single
fully-connected layer (FCL) is trained to directly learn the model. Then, this
FCL is fixed and concatenated with an un-trained U-Net architecture for a
second-step training to improve the output image fidelity, resulting in four
main advantages. First, it does not rely on an accurate representation of the
imaging model since the model is directly learned. Second, real-time imaging
can be achieved. Third, the TST-DL network is trained in the desired direction
and the predictions are improved since the first step is constrained to learn
the model and the second step improves the result by learning the optimal
regularizer. Fourth, the approach accommodates any size and dimensionality of
data. We demonstrate this framework using a linear single-pixel camera imaging
model. The results are quantitatively compared with those from other DL
frameworks and model-based iterative optimization approaches. We further extend
this concept to nonlinear models in the application of image
de-autocorrelation.
- Abstract（参考訳）: 深層学習(DL)は多くのアプリケーションで計算画像の強力なツールである。
一般的な戦略は、最適化された画像を達成するためにニューラルネットワークの入力として予備画像を再構成することである。
通常、予備画像は、画像モデルの事前知識とともに取得される。
しかし、1つの顕著な課題は、実際の撮像モデルが仮定されたモデルから逸脱する程度である。
モデルミスマッチは予備画像の品質を低下させ、dl予測に影響を与える。
もう一つの大きな課題は、ほとんどのイメージング逆問題には問題があり、ネットワークは過パラメータ化されているため、DLネットワークは画像モデルに直接関連しないデータから特徴を抽出する柔軟性を持っていることである。
これらの課題を解決するために,物理に先行しないリアルタイム計算画像の2段階学習用DL(TST-DL)フレームワークを提案する。
まず、単一の完全連結層(fcl)がモデルを直接学習するように訓練される。
次に、このFCLを未学習のU-Netアーキテクチャに固定結合して第2ステップのトレーニングを行い、出力画像の忠実性を改善する。
第一に、モデルが直接学習されるため、画像モデルの正確な表現に依存しない。
第2に,リアルタイムイメージングを実現する。
第3に、TST-DLネットワークを所望の方向に訓練し、第1ステップがモデル学習に制約されているため予測を改善し、第2ステップは最適な正規化器学習により結果を改善する。
第4に、このアプローチはあらゆるサイズとデータ次元に対応します。
この枠組みを線形単画素カメライメージングモデルを用いて実証する。
結果は、他のdlフレームワークやモデルベースの反復最適化アプローチと比較される。
我々はこの概念をさらに非線形モデルに拡張し、画像デオートコリレーションを適用した。
関連論文リスト
- Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
拡散モデルは、大規模な生成画像モデルの分野を支配してきた。
本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-24T14:52:38Z) - Calibrated Cache Model for Few-Shot Vision-Language Model Adaptation [36.45488536471859]
類似性は、ラベルのない画像を使用することで画像と画像の類似性を洗練する。
重みは、トレーニングサンプル間の関係を適切にモデル化するために、精度行列を重み関数に導入する。
GPの複雑さを低減するため,グループベースの学習戦略を提案する。
論文 参考訳（メタデータ） (2024-10-11T15:12:30Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:37:47Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with
Point-to-Pixel Prompting [94.11915008006483]
本稿では,ポイントクラウド解析のための新しいポイント・ツー・Pixelを提案する。
ScanObjectNNの最も難しい設定では,89.3%の精度が得られる。
また,本フレームワークは,ModelNet分類とShapeNet Part Codeで非常に競争力のある性能を示す。
論文 参考訳（メタデータ） (2022-08-04T17:59:03Z) - Stable Optimization for Large Vision Model Based Deep Image Prior in
Cone-Beam CT Reconstruction [6.558735319783205]
LVM(Large Vision Model)は、最近医療画像のタスクにおいて大きな可能性を実証した。
Deep Image Prior(DIP)は、トレーニングされていないニューラルネットワークを効果的にガイドし、トレーニングデータなしで高品質のCBCT画像を生成する。
スパースビューCBCTのためのフォワードモデルフリーDIPモデルの安定最適化法を提案する。
論文 参考訳（メタデータ） (2022-03-23T15:16:29Z) - Meta Internal Learning [88.68276505511922]
単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。
本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。
以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
論文 参考訳（メタデータ） (2021-10-06T16:27:38Z) - Pre-Trained Image Processing Transformer [95.93031793337613]
我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。
本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。
IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
論文 参考訳（メタデータ） (2020-12-01T09:42:46Z) - Efficient and Model-Based Infrared and Visible Image Fusion Via
Algorithm Unrolling [24.83209572888164]
赤外線および可視画像融合(IVIF)は、赤外線画像からの熱放射情報を保持する画像と、可視画像からテクスチャの詳細を取得することを期待している。
従来のCNNベースのIVIFモデルの欠点を克服するために,モデルベース畳み込みニューラルネットワーク(CNN)モデルを提案する。
論文 参考訳（メタデータ） (2020-05-12T16:15:56Z) - On the interplay between physical and content priors in deep learning
for computational imaging [5.486833154281385]
我々は、レンズレス位相イメージングシステムにおいて、位相抽出ニューラルネットワーク(PhENN)を用いて定量的位相検索を行う。
2つの質問が関連していることを示し、トレーニング例の選択という共通点を共有します。
また, より弱い正規化効果により, 基礎となる伝搬モデルの学習性が向上することが判明した。
論文 参考訳（メタデータ） (2020-04-14T08:36:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。