論文の概要: Transformer Meets Boundary Value Inverse Problems

• arxiv url: http://arxiv.org/abs/2209.14977v1
• Date: Thu, 29 Sep 2022 17:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 18:26:27.014655
• Title: Transformer Meets Boundary Value Inverse Problems
• Title（参考訳）: Transformerが境界値逆問題に遭遇
• Authors: Ruchi Guo and Shuhao Cao and Long Chen
• Abstract要約: 変圧器を用いた深部直接サンプリング法は境界値逆問題のクラスを解くために提案される。 慎重に設計されたデータと再構成された画像の間に学習した逆演算子を評価することにより、リアルタイムな再構成を実現する。
• 参考スコア（独自算出の注目度）: 4.165221477234755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Transformer-based deep direct sampling method is proposed for solving a class of boundary value inverse problem. A real-time reconstruction is achieved by evaluating the learned inverse operator between carefully designed data and the reconstructed images. An effort is made to give a case study for a fundamental and critical question: whether and how one can benefit from the theoretical structure of a mathematical problem to develop task-oriented and structure-conforming deep neural network? Inspired by direct sampling methods for inverse problems, the 1D boundary data are preprocessed by a partial differential equation-based feature map to yield 2D harmonic extensions in different frequency input channels. Then, by introducing learnable non-local kernel, the approximation of direct sampling is recast to a modified attention mechanism. The proposed method is then applied to electrical impedance tomography, a well-known severely ill-posed nonlinear inverse problem. The new method achieves superior accuracy over its predecessors and contemporary operator learners, as well as shows robustness with respect to noise. This research shall strengthen the insights that the attention mechanism, despite being invented for natural language processing tasks, offers great flexibility to be modified in conformity with the a priori mathematical knowledge, which ultimately leads to the design of more physics-compatible neural architectures.
• Abstract（参考訳）: 境界値逆問題を解くために,変圧器を用いた深層直接サンプリング法を提案する。 慎重に設計したデータと再構成した画像の間に学習した逆演算子を評価することにより、リアルタイムな再構成を実現する。 タスク指向および構造結合型深層ニューラルネットワークを開発するための数学的問題の理論的構造からメリットを享受できるかどうか、どのように得るかという、基本的かつ批判的な質問をケーススタディとして提示する努力がなされている。 逆問題に対する直接サンプリング法に触発されて、1次元境界データは偏微分方程式に基づく特徴マップによって前処理され、異なる周波数入力チャネルで2次元調和拡張が得られる。 そして、学習可能な非局所カーネルを導入することにより、直接サンプリングの近似を修正注意機構に再キャストする。 提案手法は,よく知られていない非線形逆問題である電気インピーダンストモグラフィに適用する。 この新手法は,前者や同時代のオペレータ学習者よりも優れた精度を実現するとともに,雑音に対するロバスト性を示す。 この研究は、自然言語処理タスクのために発明されたにもかかわらず、注意機構が事前の数学的知識に適合して変更できる優れた柔軟性を提供し、最終的にはより物理に適合したニューラルアーキテクチャの設計につながるという洞察を強める。

関連論文リスト

• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Deep unfolding as iterative regularization for imaging inverse problems [6.485466095579992]
  ディープ展開法は、反復アルゴリズムを通じてディープニューラルネットワーク(DNN)の設計を導く。 展開されたDNNが安定して収束することを証明する。 提案手法が従来の展開法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:38:47Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Deep Preconditioners and their application to seismic wavefield processing [0.0]
  スペーサリティプロモーティング・インバージョンと固定基底スペーサ変換は、多くの処理タスクに対するゴート・アプローチを表している。 本稿では,入力された地震データと代表潜在多様体との直接マッピングを学習するために,オートエンコーダネットワークを訓練することを提案する。 トレーニングされたデコーダはその後、物理駆動逆問題に対する非線形プレコンディショナーとして使用される。
  論文  参考訳（メタデータ） (2022-07-20T14:25:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Learned convex regularizers for inverse problems [3.294199808987679]
  本稿では,逆問題に対する正規化器として,データ適応型入力ニューラルネットワーク(ICNN)を学習することを提案する。 パラメータ空間における単調な誤差を反復で減少させる部分次アルゴリズムの存在を実証する。 提案した凸正則化器は, 逆問題に対する最先端のデータ駆動技術に対して, 少なくとも競争力があり, 時には優位であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T18:58:35Z)
• Blind hierarchical deconvolution [1.9817733658218057]
  デコンボリューション(deconvolution)は、信号処理における基本的な逆問題であり、ノイズ測定から信号を取り戻すためのプロトタイプモデルである。 本稿では,正規性と未知のカーネルサイズの異なる関数の正確な再構成を可能にする,ブラインド階層的デコンボリューションの枠組みを提案する。
  論文  参考訳（メタデータ） (2020-07-22T12:54:19Z)
• Model-Aware Regularization For Learning Approaches To Inverse Problems [11.314492463814817]
  本稿では,逆問題に適用可能なディープラーニング手法の一般化誤差の解析を行う。 本稿では、フォワードマップの知識を活用してネットワークの一般化を改善する「プラグ・アンド・プレイ」レギュラーを提案する。 我々は,他の最先端手法に対するモデル認識型ディープラーニングアルゴリズムの有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-18T21:59:03Z)
• Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
  本稿では,データ駆動型汎用全深度変動正規化器について紹介する。 コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。 我々は多数の画像処理タスクに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-15T21:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。