論文の概要: ViTO: Vision Transformer-Operator

• arxiv url: http://arxiv.org/abs/2303.08891v1
• Date: Wed, 15 Mar 2023 19:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 18:07:56.060391
• Title: ViTO: Vision Transformer-Operator
• Title（参考訳）: ViTO: Vision Transformer-Operator
• Authors: Oded Ovadia, Adar Kahana, Panos Stinis, Eli Turkel, George Em Karniadakis
• Abstract要約: 複雑性を増大させる逆PDE問題の解法として, ViTO を適用した。 得られた結果は、精度の点で、主要な演算子ネットワークベンチマークに匹敵するか、上回っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We combine vision transformers with operator learning to solve diverse inverse problems described by partial differential equations (PDEs). Our approach, named ViTO, combines a U-Net based architecture with a vision transformer. We apply ViTO to solve inverse PDE problems of increasing complexity, namely for the wave equation, the Navier-Stokes equations and the Darcy equation. We focus on the more challenging case of super-resolution, where the input dataset for the inverse problem is at a significantly coarser resolution than the output. The results we obtain are comparable or exceed the leading operator network benchmarks in terms of accuracy. Furthermore, ViTO`s architecture has a small number of trainable parameters (less than 10% of the leading competitor), resulting in a performance speed-up of over 5x when averaged over the various test cases.
• Abstract（参考訳）: 視覚トランスフォーマーと演算子学習を組み合わせることで,偏微分方程式 (pdes) によって記述される多様な逆問題を解く。 我々のアプローチはViTOと呼ばれ、U-Netベースのアーキテクチャとビジョントランスフォーマーを組み合わせています。 複雑性を増大させる逆PDE問題、すなわち波動方程式、ナビエ・ストークス方程式、ダーシー方程式をViTOを用いて解決する。 逆問題に対する入力データセットが出力よりもかなり粗い解像度である超解像の場合に焦点を当てる。 得られた結果は、精度の点で、主要な演算子ネットワークベンチマークに匹敵するか、上回っている。 さらに、ViTOのアーキテクチャはトレーニング可能なパラメータが少数(主要な競合の10%未満)であり、様々なテストケースで平均5倍以上のパフォーマンス向上を実現している。

関連論文リスト

• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• INViT: A Generalizable Routing Problem Solver with Invariant Nested View Transformer [17.10555702634864]
  深い強化学習は、高速ルーティングを学習してルーティング問題を解決するための有望な結果を示している。 解法の大半は、異なるスケールで見えない分布や分布に一般化することに苦しむ。 Invariant Nested View Transformer (INViT) と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-02-04T02:09:30Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Quaternion Orthogonal Transformer for Facial Expression Recognition in the Wild [3.2898396463438995]
  特徴分類のための四元視覚変換器(Q-ViT)を開発した。 3つの組込みFERデータセットの実験結果から、提案したQOTがいくつかの最先端モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-14T12:07:48Z)
• Neural Inverse Operators for Solving PDE Inverse Problems [5.735035463793008]
  本稿では,これらのPDE逆問題を解決するために,NIO(Neural Inverse Operators)と呼ばれる新しいアーキテクチャを提案する。 NIOがベースラインを著しく上回り、PDEの逆問題に対して堅牢かつ正確に解き、既存の直接最適化法やPDE制約最適化法よりも数桁高速であることを示すために、様々な実験を行った。
  論文  参考訳（メタデータ） (2023-01-26T15:12:58Z)
• Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer [56.87383229709899]
  我々は、完全量子化視覚変換器(Q-ViT)のための情報修正モジュール(IRM)と分配誘導蒸留法を開発した。 我々の手法は、先行技術よりもはるかに優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-13T04:00:29Z)
• What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
  我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。 様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
  論文  参考訳（メタデータ） (2022-05-27T14:36:55Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• ODE Transformer: An Ordinary Differential Equation-Inspired Model for Neural Machine Translation [25.86053637998726]
  本稿では, Transformer の残層ブロックを ODE の高次解として記述できることを示す。 Transformerの自然な拡張として、ODE Transformerは実装が簡単で、パラメータが効率的です。
  論文  参考訳（メタデータ） (2021-04-06T06:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。