論文の概要: ViTO: Vision Transformer-Operator

• arxiv url: http://arxiv.org/abs/2303.08891v1
• Date: Wed, 15 Mar 2023 19:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 18:07:56.060391
• Title: ViTO: Vision Transformer-Operator
• Title（参考訳）: ViTO: Vision Transformer-Operator
• Authors: Oded Ovadia, Adar Kahana, Panos Stinis, Eli Turkel, George Em Karniadakis
• Abstract要約: 複雑性を増大させる逆PDE問題の解法として, ViTO を適用した。 得られた結果は、精度の点で、主要な演算子ネットワークベンチマークに匹敵するか、上回っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We combine vision transformers with operator learning to solve diverse inverse problems described by partial differential equations (PDEs). Our approach, named ViTO, combines a U-Net based architecture with a vision transformer. We apply ViTO to solve inverse PDE problems of increasing complexity, namely for the wave equation, the Navier-Stokes equations and the Darcy equation. We focus on the more challenging case of super-resolution, where the input dataset for the inverse problem is at a significantly coarser resolution than the output. The results we obtain are comparable or exceed the leading operator network benchmarks in terms of accuracy. Furthermore, ViTO`s architecture has a small number of trainable parameters (less than 10% of the leading competitor), resulting in a performance speed-up of over 5x when averaged over the various test cases.
• Abstract（参考訳）: 視覚トランスフォーマーと演算子学習を組み合わせることで,偏微分方程式 (pdes) によって記述される多様な逆問題を解く。 我々のアプローチはViTOと呼ばれ、U-Netベースのアーキテクチャとビジョントランスフォーマーを組み合わせています。 複雑性を増大させる逆PDE問題、すなわち波動方程式、ナビエ・ストークス方程式、ダーシー方程式をViTOを用いて解決する。 逆問題に対する入力データセットが出力よりもかなり粗い解像度である超解像の場合に焦点を当てる。 得られた結果は、精度の点で、主要な演算子ネットワークベンチマークに匹敵するか、上回っている。 さらに、ViTOのアーキテクチャはトレーニング可能なパラメータが少数(主要な競合の10%未満)であり、様々なテストケースで平均5倍以上のパフォーマンス向上を実現している。

関連論文リスト

• Neural Inverse Operators for Solving PDE Inverse Problems [5.735035463793008]
  本稿では,これらのPDE逆問題を解決するために,NIO(Neural Inverse Operators)と呼ばれる新しいアーキテクチャを提案する。 NIOがベースラインを著しく上回り、PDEの逆問題に対して堅牢かつ正確に解き、既存の直接最適化法やPDE制約最適化法よりも数桁高速であることを示すために、様々な実験を行った。
  論文  参考訳（メタデータ） (2023-01-26T15:12:58Z)
• Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer [56.87383229709899]
  我々は、完全量子化視覚変換器(Q-ViT)のための情報修正モジュール(IRM)と分配誘導蒸留法を開発した。 我々の手法は、先行技術よりもはるかに優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-13T04:00:29Z)
• What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
  我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。 様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
  論文  参考訳（メタデータ） (2022-05-27T14:36:55Z)
• Pruning Self-attentions into Convolutional Layers in Single Path [112.8673860548571]
  ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。 本稿では,MSAと畳み込み操作の新たな重み付け手法を提案し,各MSA層で使用するパラメータのサブセットを探索問題とみなす。 提案手法が良好な精度・効率のトレードオフを実現することを示す2つの代表的なViTモデルについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-11-23T11:35:54Z)
• An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
  我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。 具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
  論文  参考訳（メタデータ） (2021-11-03T17:55:36Z)
• Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems [32.86421107987556]
  我々は,従来の微分方程式の数値解法として,ディープニューラルネットワークを解析する最近の発展の上に構築する。 時間的進化計画であるTransEvolveを定式化し、複数の積層層にコストのかかるドット積の注意をバイパスする。 我々は、よく知られたエンコーダデコーダとエンコーダのみのタスクでTransEvolveで徹底的な実験を行う。
  論文  参考訳（メタデータ） (2021-09-30T14:01:06Z)
• Multiwavelet-based Operator Learning for Differential Equations [3.0824316066680484]
  本稿では,関連する演算子のカーネルを圧縮する,テキストマルチウェーブレットに基づくニューラル演算子学習方式を提案する。 逆マルチウェーブレットフィルタを明示的に埋め込み、固定されたマルチウェーブレットベースへのカーネルのプロジェクションを学習する。 既存のニューラル演算子アプローチと比較して、我々のモデルは、さまざまなデータセットにおいて、かなり精度が高く、最先端であることを示している。
  論文  参考訳（メタデータ） (2021-09-28T03:21:47Z)
• Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
  視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。 ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。 本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:28:34Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• ODE Transformer: An Ordinary Differential Equation-Inspired Model for Neural Machine Translation [25.86053637998726]
  本稿では, Transformer の残層ブロックを ODE の高次解として記述できることを示す。 Transformerの自然な拡張として、ODE Transformerは実装が簡単で、パラメータが効率的です。
  論文  参考訳（メタデータ） (2021-04-06T06:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。