論文の概要: Scalable Spatiotemporal Inference with Biased Scan Attention Transformer Neural Processes

• arxiv url: http://arxiv.org/abs/2506.09163v1
• Date: Tue, 10 Jun 2025 18:24:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.861845
• Title: Scalable Spatiotemporal Inference with Biased Scan Attention Transformer Neural Processes
• Title（参考訳）: Biased Scan Attention Transformer Neural Processsを用いたスケーラブル時空間推定
• Authors: Daniel Jenson, Jhonathan Navott, Piotr Grynfelder, Mengyan Zhang, Makkunda Sharma, Elizaveta Semenova, Seth Flaxman,
• Abstract要約: Biased Scan Attention Transformer Neural Process (BSA-TNP) BSA-TNPは、1つの24GB GPU上で1分以内で100万ポイント以上の100Kコンテキストポイントを持つ推論を実行すること、(2)翻訳不変性を示し、複数の解像度での学習を可能にすること、(3)空間と時間の両方で進化する透過的なモデルプロセス、(5)スケールを優雅に行うこと、の3つである。
• 参考スコア（独自算出の注目度）: 2.198760145670348
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Neural Processes (NPs) are a rapidly evolving class of models designed to directly model the posterior predictive distribution of stochastic processes. While early architectures were developed primarily as a scalable alternative to Gaussian Processes (GPs), modern NPs tackle far more complex and data hungry applications spanning geology, epidemiology, climate, and robotics. These applications have placed increasing pressure on the scalability of these models, with many architectures compromising accuracy for scalability. In this paper, we demonstrate that this tradeoff is often unnecessary, particularly when modeling fully or partially translation invariant processes. We propose a versatile new architecture, the Biased Scan Attention Transformer Neural Process (BSA-TNP), which introduces Kernel Regression Blocks (KRBlocks), group-invariant attention biases, and memory-efficient Biased Scan Attention (BSA). BSA-TNP is able to: (1) match or exceed the accuracy of the best models while often training in a fraction of the time, (2) exhibit translation invariance, enabling learning at multiple resolutions simultaneously, (3) transparently model processes that evolve in both space and time, (4) support high dimensional fixed effects, and (5) scale gracefully -- running inference with over 1M test points with 100K context points in under a minute on a single 24GB GPU.
• Abstract（参考訳）: ニューラルプロセス(英: Neural Processs, NP)は、確率過程の後方予測分布を直接モデル化するモデルである。 初期のアーキテクチャは主にガウスプロセス(GP)に代わるスケーラブルな代替品として開発されたが、現代のNPは地質学、疫学、気候、ロボット工学にまたがるはるかに複雑でデータ不足のアプリケーションに取り組む。 これらのアプリケーションはこれらのモデルのスケーラビリティに圧力をかけており、多くのアーキテクチャはスケーラビリティの正確さを妥協している。 本稿では、このトレードオフが、特に完全あるいは部分的な翻訳不変プロセスのモデリングにおいて、しばしば不要であることを示す。 本稿では,Kernel Regression Blocks (KRBlocks), Group-invariant attention biases, メモリ効率の高いBiased Scan Attention (BSA)を導入し,多機能な新しいアーキテクチャであるBiased Scan Attention Transformer Neural Process (BSA-TNP)を提案する。 BSA-TNPは、1つの24GB GPU上で1分未満で100万以上のテストポイントを持つ100万以上のテストポイントで推論を実行すること、(2)翻訳不変性を示し、複数の解像度での学習を可能にすること、(3)空間と時間の両方で進化する透過的なモデルプロセス、(4)高次元の固定効果をサポートすること、(5)スケールを優雅に行うこと、の3つである。

関連論文リスト

• Transformer Neural Processes - Kernel Regression [2.309018557701645]
  我々は、スケーラブルニューラルネットワーク(NP)であるTransformer Neural Process - Kernel Regression (TNP-KR)を紹介する。 TNP-KRは、単純でパラメータで効率的なトランスフォーマーブロックであるKernel Regression Block (KR-Block)と、Scan attention (SA)、メモリ効率のよいスキャンベースバイアス、Deep kernel attention (DKA)の2つの新しい注意機構を備えている。 これらの拡張により、TNP-KR変異体は100Kで推論を行うことができる。
  論文  参考訳（メタデータ） (2024-11-19T13:40:49Z)
• Convolutional Conditional Neural Processes [6.532867867011488]
  この理論は神経過程を3つの方法で前進させる。 ConvNPは、変換分散と呼ばれる対称性で構築することで、データ効率を向上させる。 GNPは神経過程の予測において依存関係を直接パラメライズする。 AR CNPは、モデルやトレーニング手順を変更することなく、ニューラルネットワークをトレーニングし、テスト時には、自己回帰的な方法でモデルをロールアウトする。
  論文  参考訳（メタデータ） (2024-08-18T19:53:38Z)
• AD-NEV: A Scalable Multi-level Neuroevolution Framework for Multivariate Anomaly Detection [1.0323063834827415]
  異常検出ツールと手法は、現代のサイバー物理および障害予測システムにおいて重要な機能を示す。 与えられたデータセットのモデル最適化は、面倒で時間のかかるプロセスである。 スケーラブルな多レベル最適化ニューロエボリューションフレームワークであるAnomaly Detection Neuroevolution (AD-NEv)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T21:52:38Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)
• On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
  ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。 様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-07T09:02:18Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Learning Multivariate Hawkes Processes at Scale [17.17906360554892]
  提案手法は, 基礎となるネットワークの周囲次元とは無関係に, MHP の精度と勾配を計算可能であることを示す。 合成および実世界のデータセットについて、我々のモデルは最先端の予測結果を達成するだけでなく、実行時の性能を桁違いに改善することを示した。
  論文  参考訳（メタデータ） (2020-02-28T01:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。