論文の概要: Inducing Point Operator Transformer: A Flexible and Scalable Architecture for Solving PDEs

• arxiv url: http://arxiv.org/abs/2312.10975v1
• Date: Mon, 18 Dec 2023 06:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 21:05:31.957792
• Title: Inducing Point Operator Transformer: A Flexible and Scalable Architecture for Solving PDEs
• Title（参考訳）: Point Operator Transformer: PDEを解くための柔軟でスケーラブルなアーキテクチャ
• Authors: Seungjun Lee, Taeil Oh
• Abstract要約: 誘導点演算子変換器(IPOT)と呼ばれる注意モデルを導入する。 IPOTは、グローバルなインタラクションを計算的に効率的な方法でキャプチャしながら、任意の入力関数と出力クエリを処理するように設計されている。 IPOTは、プロセッサからのインプット/アウトプットの離散化を遅延ボトルネックより小さくすることで、任意の離散化を処理する柔軟性を提供する。
• 参考スコア（独自算出の注目度）: 7.152311859951986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solving partial differential equations (PDEs) by learning the solution operators has emerged as an attractive alternative to traditional numerical methods. However, implementing such architectures presents two main challenges: flexibility in handling irregular and arbitrary input and output formats and scalability to large discretizations. Most existing architectures are limited by their desired structure or infeasible to scale large inputs and outputs. To address these issues, we introduce an attention-based model called an inducing-point operator transformer (IPOT). Inspired by inducing points methods, IPOT is designed to handle any input function and output query while capturing global interactions in a computationally efficient way. By detaching the inputs/outputs discretizations from the processor with a smaller latent bottleneck, IPOT offers flexibility in processing arbitrary discretizations and scales linearly with the size of inputs/outputs. Our experimental results demonstrate that IPOT achieves strong performances with manageable computational complexity on an extensive range of PDE benchmarks and real-world weather forecasting scenarios, compared to state-of-the-art methods.
• Abstract（参考訳）: 解演算子を学習することで偏微分方程式(PDE)を解くことは、従来の数値法に代わる魅力的な方法として登場した。 しかし、このようなアーキテクチャの実装には、不規則な入力および出力形式を扱う際の柔軟性と、大きな離散化へのスケーラビリティの2つの大きな課題がある。 ほとんどの既存のアーキテクチャは所望の構造によって制限されるか、大規模なインプットとアウトプットをスケールできない。 これらの問題に対処するために、誘導点演算子変換器(IPOT)と呼ばれる注意モデルを導入する。 IPOTは、ポイントメソッドをインジェクションして、任意の入力関数と出力クエリを処理し、グローバルなインタラクションを計算的に効率的な方法でキャプチャするように設計されている。 IPOTは、プロセッサからのインプット/アウトプットの離散化を小さくすることで、任意の離散化処理の柔軟性を提供し、インプット/アウトプットのサイズと線形にスケールする。 実験の結果,pdeベンチマークや実世界の天気予報シナリオにおいて,ipotは最先端の手法と比較して,計算複雑性を管理できる強力な性能を実現することがわかった。

関連論文リスト

• Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
  大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。 FoMosは微調整技術により、特定の下流タスクに適応する必要がある。 デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
  論文  参考訳（メタデータ） (2024-07-13T12:47:14Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Using AI libraries for Incompressible Computational Fluid Dynamics [0.7734726150561089]
  本稿では,AIソフトウェアとハードウェアの両方のパワーを数値モデリングの分野に持ち込む新しい手法を提案する。 提案手法を用いて, 対流拡散方程式, 非線型バーガース方程式, ブラフ体を過ぎる非圧縮性流れを解く。
  論文  参考訳（メタデータ） (2024-02-27T22:00:50Z)
• HAMLET: Graph Transformer Neural Operator for Partial Differential Equations [13.970458554623939]
  本稿では、ニューラルネットワークを用いて偏微分方程式(PDE)を解く際の課題を解決するために、新しいグラフトランスフォーマーフレームワークHAMLETを提案する。 このフレームワークは、モジュラー入力エンコーダを備えたグラフトランスフォーマーを使用して、微分方程式情報をソリューションプロセスに直接組み込む。 特に、HAMLETは、データの複雑さとノイズを増大させ、その堅牢性を示すために、効果的にスケールする。
  論文  参考訳（メタデータ） (2024-02-05T21:55:24Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Neural Stochastic Dual Dynamic Programming [99.80617899593526]
  我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。 $nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
  論文  参考訳（メタデータ） (2021-12-01T22:55:23Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• Neural TMDlayer: Modeling Instantaneous flow of features via SDE Generators [37.92379202320938]
  本稿では, 微分方程式(SDE)に基づくアイデアが, コンピュータビジョンの一連の問題に対して, 既存のアルゴリズムに新たな修正をもたらすかを検討する。 ショットラーニング,ポイントクラウドトランスフォーマー,深部変分セグメンテーションなど,多数のビジョンタスクについて有望な実験を行った。
  論文  参考訳（メタデータ） (2021-08-19T19:54:04Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。