論文の概要: NIERT: Accurate Numerical Interpolation through Unifying Scattered Data Representations using Transformer Encoder

• arxiv url: http://arxiv.org/abs/2209.09078v1
• Date: Mon, 19 Sep 2022 15:12:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 19:14:39.194016
• Title: NIERT: Accurate Numerical Interpolation through Unifying Scattered Data Representations using Transformer Encoder
• Title（参考訳）: NIERT: Transformer Encoder を用いた散乱データ表現の統合による高精度数値補間
• Authors: Shizhe Ding, Dongbo Bu
• Abstract要約: NIERTと呼ばれるトランスフォーマーの数値エンコーダ表現に対する学習に基づくアプローチを提案する。 NIERTは、ターゲットポイントの値をマスクトークンとして扱い、ターゲットポイントと観測ポイントを統一的に処理することができる。 NIERTは1.897タイム10-3$のMAEを達成しており、トランスフォーマーベースのアプローチよりもかなり優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerical interpolation for scattered data aims to estimate values for target points based on those of some observed points. Traditional approaches produce estimations through constructing an interpolation function that combines multiple basis functions. These approaches require the basis functions to be pre-defined explicitly, thus greatly limiting their applications in practical scenarios. Recent advances exhibit an alternative strategy that learns interpolation functions directly from observed points using machine learning techniques, say deep neural networks. This strategy, although promising, cannot effectively exploit the correlations between observed points and target points as it treats these types of points separately. Here, we present a learning-based approach to numerical interpolation using encoder representations of Transformers (thus called NIERT). NIERT treats the value of each target point as a masked token, which enables processing target points and observed points in a unified fashion. By calculating the partial self-attention between target points and observed points at each layer, NIERT gains advantages of exploiting the correlations among these points and, more importantly, avoiding the unexpected interference of target points on observed points. NIERT also uses the pre-training technique to further improve its accuracy. On three representative datasets, including two synthetic datasets and a real-world dataset, NIERT outperforms the existing approaches, e.g., on the TFRD-ADlet dataset for temperature field reconstruction, NIERT achieves an MAE of $1.897\times 10^{-3}$, substantially better than the transformer-based approach (MAE: $27.074\times 10^{-3}$). These results clearly demonstrate the accuracy of NIERT and its potential to apply in multiple practical fields.
• Abstract（参考訳）: 散乱データの数値補間は、観測点の値に基づいて目標点の値を推定することを目的としている。 従来の手法は、複数の基底関数を組み合わせた補間関数を構築することによって推定を行う。 これらのアプローチでは、基礎関数を明示的に定義し、実用的なシナリオでのアプリケーションを大幅に制限する必要がある。 最近の進歩は、ディープニューラルネットワークのような機械学習技術を用いて、観測点から直接補間関数を学習する代替戦略を示している。 この戦略は有望ではあるが、観測された点と対象点との相関を効果的に活用することはできない。 本稿では,変換器のエンコーダ表現(NEERT)を用いた数値補間に関する学習的アプローチを提案する。 NIERTは、ターゲットポイントの値をマスクトークンとして扱い、ターゲットポイントと観測ポイントを統一的に処理することができる。 NIERTは各層における目標点と観測点の間の部分的な自己アテンションを計算することにより、これらの点間の相関を利用して、観測点上の目標点の予期せぬ干渉を避けるという利点を得る。 NIERTはまた、トレーニング前のテクニックを使用して、その精度をさらに向上する。 2つの合成データセットと実世界のデータセットを含む3つの代表的なデータセットでは、NIERTは既存のアプローチ、例えば温度場再構成のためのTFRD-ADletデータセットにおいて、トランスフォーマーベースのアプローチ(MAE:27.074\times 10^{-3}$)よりもかなり良い1.897\times 10^{-3}$を達成している。 これらの結果は、NIERTの精度と、複数の実践分野に適用できる可能性を明確に示している。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• An Improved End-to-End Multi-Target Tracking Method Based on Transformer Self-Attention [24.17627001939523]
  本研究では,エンドツーエンドのマルチターゲット追跡アルゴリズムを提案する。 変換器のエンコーダ・デコーダ構造の自己検出機構に基づいてマルチビューのマルチスケールシーンに適応する。
  論文  参考訳（メタデータ） (2022-11-11T04:58:46Z)
• Bilinear value networks [16.479582509493756]
  両線形分解方式はデータ効率を大幅に向上させ, 分配目標への転送に優れることを示す。 シミュレーションされたFetchロボットのタスクスーツとシャドウハンドによる巧妙な操作に関する実証的証拠が提供される。
  論文  参考訳（メタデータ） (2022-04-28T17:58:48Z)
• SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection [78.90102636266276]
  SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。 そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。 実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
  論文  参考訳（メタデータ） (2022-01-06T08:54:47Z)
• Dynamic Value Estimation for Single-Task Multi-Scene Reinforcement Learning [22.889059874754242]
  同じタスクから複数のレベル/シーン/条件を持つ環境において、深層強化学習エージェントを訓練することは、多くのアプリケーションにとって欠かせないものとなっている。 本研究では,複数のMDP環境に対する動的値推定(DVE)手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T17:56:08Z)
• FAIRS -- Soft Focus Generator and Attention for Robust Object Segmentation from Extreme Points [70.65563691392987]
  本稿では,ユーザ入力からオブジェクトのセグメンテーションを極端点と補正クリックの形で生成する手法を提案する。 提案手法は,エクストリームポイント,クリック誘導,修正クリックを原則として組み込んだ,高品質なトレーニングデータを生成する能力とスケーラビリティを実証する。
  論文  参考訳（メタデータ） (2020-04-04T22:25:47Z)
• PPDM: Parallel Point Detection and Matching for Real-time Human-Object Interaction Detection [85.75935399090379]
  本稿では,Human-Object Interaction (HOI) の単一段階検出手法を提案する。 これは、初めてのリアルタイムHOI検出方法である。
  論文  参考訳（メタデータ） (2019-12-30T12:00:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。