Fugu-MT 論文翻訳(概要): Incremental Transformer Neural Processes

論文の概要: Incremental Transformer Neural Processes

arxiv url: http://arxiv.org/abs/2602.18955v1
Date: Sat, 21 Feb 2026 20:30:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-24 17:42:02.414815
Title: Incremental Transformer Neural Processes
Title（参考訳）: インクリメンタルトランスニューラルプロセス
Authors: Philip Mortimer, Cristiana Diaconu, Tommy Rochussen, Bruno Mlodozeniec, Richard E. Turner,
Abstract要約: インクリメンタルニューラルプロセス(IncTNP)を紹介する。 incTNPは標準TNPの予測性能と一致し、更新の計算コストを削減した。実験により,本モデルの有効性を実証的に評価した。
参考スコア（独自算出の注目度）: 19.42901413521077
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural Processes (NPs), and specifically Transformer Neural Processes (TNPs), have demonstrated remarkable performance across tasks ranging from spatiotemporal forecasting to tabular data modelling. However, many of these applications are inherently sequential, involving continuous data streams such as real-time sensor readings or database updates. In such settings, models should support cheap, incremental updates rather than recomputing internal representations from scratch for every new observation -- a capability existing TNP variants lack. Drawing inspiration from Large Language Models, we introduce the Incremental TNP (incTNP). By leveraging causal masking, Key-Value (KV) caching, and a data-efficient autoregressive training strategy, incTNP matches the predictive performance of standard TNPs while reducing the computational cost of updates from quadratic to linear time complexity. We empirically evaluate our model on a range of synthetic and real-world tasks, including tabular regression and temperature prediction. Our results show that, surprisingly, incTNP delivers performance comparable to -- or better than -- non-causal TNPs while unlocking orders-of-magnitude speedups for sequential inference. Finally, we assess the consistency of the model's updates -- by adapting a metric of ``implicit Bayesianness", we show that incTNP retains a prediction rule as implicitly Bayesian as standard non-causal TNPs, demonstrating that incTNP achieves the computational benefits of causal masking without sacrificing the consistency required for streaming inference.
Abstract（参考訳）: ニューラル・プロセス(NP)、特にトランスフォーマー・ニューラル・プロセス(TNP)は、時空間予測から表型データモデリングまでのタスクで顕著な性能を示した。しかし、これらのアプリケーションの多くは本質的にシーケンシャルで、リアルタイムセンサーの読み取りやデータベースのアップデートといった連続的なデータストリームを含んでいる。このような設定では、モデルはスクラッチから内部表現を再計算するのではなく、安価でインクリメンタルな更新をサポートするべきです。大規模言語モデルからインスピレーションを得たインクリメンタルTNP(incTNP)を紹介する。因果マスキング、キーバリュー(KV)キャッシング、データ効率のよい自己回帰学習戦略を活用することで、incTNPは標準的なTNPの予測性能と一致し、2次時間から線形時間までの更新の計算コストを削減できる。我々は,表の回帰や温度予測など,実世界の様々なタスクにおいて,実験的にモデルを評価した。以上の結果から,incTNPは非因果性TNPに匹敵する性能を示しながら,逐次推論のオーダー・オブ・マグニチュード・スピードアップを解き放ちながら,非因果性TNPに匹敵する性能を提供することがわかった。最後に、モデル更新の整合性を評価する。'implicit Bayesianness'の計量を適用することにより、incTNPは標準的な非因果TNPのように暗黙的にベイズ的であり、ストリーミング推論に必要な整合性を犠牲にすることなく、因果マスクの計算上の利点を達成できることを示す。

関連論文リスト

Exploring Pseudo-Token Approaches in Transformer Neural Processes [0.0]
ISANP(Set Attentive Neural Processs)について紹介する。 ISANPはTransformer Neural Processs (TNP) と競合し、1次元回帰、画像補完、文脈帯域幅、ベイズ最適化において最先端のモデルを上回る。 ISANPは、より大きなデータセットによくスケールする、パフォーマンスと計算の複雑さの調整可能なバランスを提供する。
論文参考訳（メタデータ） (2025-04-19T22:47:59Z)
In-Context In-Context Learning with Transformer Neural Processes [50.57807892496024]
In-context In-context Learning pseudo-token TNP (ICICL-TNP) を開発した。 ICICL-TNPは、データポイントとデータセットのセットの両方を条件付けし、コンテキスト内での学習を可能にする。複数の実験において,文脈内学習の重要性とICICL-TNPの有効性を実証した。
論文参考訳（メタデータ） (2024-06-19T12:26:36Z)
Rényi Neural Processes [14.11793373584558]
ニューラルプロセスは条件付き事前モデルと後続モデルとのパラメータ化結合を強制することを示す。本稿では,標準KL分散をR'enyi分散に置き換える手法であるR'enyi Neural Processes (RNP)を提案する。実世界の問題におけるRNPの性能改善について述べる。
論文参考訳（メタデータ） (2024-05-25T00:14:55Z)
Memory Efficient Neural Processes via Constant Memory Attention Block [55.82269384896986]
CMANP(Constant Memory Attentive Neural Processs)は、NPの変種である。我々は,CMANPが従来の手法よりもはるかにメモリ効率が良く,NPベンチマークで最先端の結果が得られることを示した。
論文参考訳（メタデータ） (2023-05-23T23:10:19Z)
Latent Bottlenecked Attentive Neural Processes [71.18817592128207]
LBANP(Latent Bottlenecked Attentive Neural Processs)について LBANPは、コンテキストデータポイントの数によらず、クエリ処理の複雑さを持つ。 LBANPは,メタ回帰,画像補完,コンテキスト的マルチアームバンディットに関する最先端技術と競合する結果が得られることを示す。
論文参考訳（メタデータ） (2022-11-15T19:21:41Z)
Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
論文参考訳（メタデータ） (2022-10-13T09:01:58Z)
Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling [26.377099481072992]
本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
論文参考訳（メタデータ） (2022-07-09T02:28:58Z)
Message Passing Neural Processes [3.0969191504482247]
本稿では,モデル内の関係構造を明示的に利用するMPNP(Message Passing Neural Processs)を紹介する。 MPNPは、既存のベンチマークと新たに提案されたCAとCola-Branchedタスクに基づいて、より低いサンプリングレートで成長する。本稿では、密度に基づくCAルールセットに対する強力な一般化と、任意のラベリングと数発の学習設定に挑戦する際の顕著な向上について報告する。
論文参考訳（メタデータ） (2020-09-29T09:40:09Z)
Bootstrapping Neural Processes [114.97111530885093]
ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
論文参考訳（メタデータ） (2020-08-07T02:23:34Z)
Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
論文参考訳（メタデータ） (2020-07-02T18:25:27Z)
Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。