論文の概要: Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling

• arxiv url: http://arxiv.org/abs/2207.04179v1
• Date: Sat, 9 Jul 2022 02:28:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 12:18:33.804863
• Title: Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling
• Title（参考訳）: トランスフォーマリンプロセス:シーケンスモデリングによる不確実性を考慮したメタ学習
• Authors: Tung Nguyen and Aditya Grover
• Abstract要約: 本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。 我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。 我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 26.377099481072992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Processes (NPs) are a popular class of approaches for meta-learning. Similar to Gaussian Processes (GPs), NPs define distributions over functions and can estimate uncertainty in their predictions. However, unlike GPs, NPs and their variants suffer from underfitting and often have intractable likelihoods, which limit their applications in sequential decision making. We propose Transformer Neural Processes (TNPs), a new member of the NP family that casts uncertainty-aware meta learning as a sequence modeling problem. We learn TNPs via an autoregressive likelihood-based objective and instantiate it with a novel transformer-based architecture. The model architecture respects the inductive biases inherent to the problem structure, such as invariance to the observed data points and equivariance to the unobserved points. We further investigate knobs within the TNP framework that tradeoff expressivity of the decoding distribution with extra computation. Empirically, we show that TNPs achieve state-of-the-art performance on various benchmark problems, outperforming all previous NP variants on meta regression, image completion, contextual multi-armed bandits, and Bayesian optimization.
• Abstract（参考訳）: ニューラルプロセス(NP)はメタラーニングにおける一般的なアプローチのクラスである。 ガウス過程(GP)と同様に、NPは関数上の分布を定義し、予測の不確かさを推定することができる。 しかし、GPと異なり、NPとその変種は不適合であり、しばしば難解な可能性があり、連続的な意思決定における応用を制限する。 本稿では,不確実性を考慮したメタ学習をシーケンスモデリング問題として用いたNPファミリーの新たなメンバーであるTransformer Neural Processs (TNPs)を提案する。 我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。 モデルアーキテクチャは、観測されたデータ点への不変や観測されていない点への等価といった問題構造に固有の帰納バイアスを尊重する。 さらに、余分な計算で復号分布の表現性をトレードオフするTNPフレームワーク内のノブについても検討する。 実験により, TNPは, メタ回帰, 画像補完, コンテキスト多重武装の帯域幅, ベイズ最適化において, 過去のNP変種よりも優れていることを示す。

関連論文リスト

• In-Context In-Context Learning with Transformer Neural Processes [50.57807892496024]
  In-context In-context Learning pseudo-token TNP (ICICL-TNP) を開発した。 ICICL-TNPは、データポイントとデータセットのセットの両方を条件付けし、コンテキスト内での学習を可能にする。 複数の実験において,文脈内学習の重要性とICICL-TNPの有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-19T12:26:36Z)
• Translation Equivariant Transformer Neural Processes [22.463975744505717]
  後部予測マップのモデル化における神経プロセス(NP)の有効性は,開始当初より著しく改善されている。 この改善は、(1)すべての分布である置換不変集合関数のアーキテクチャの進歩、(2)真の後続予測写像に存在する対称性の活用である。
  論文  参考訳（メタデータ） (2024-06-18T08:58:59Z)
• Spectral Convolutional Conditional Neural Processes [4.52069311861025]
  条件付きニューラルプロセス(CNP)は、プロセスのパラメータ化にニューラルネットワークの柔軟性を利用する確率モデルの一群である。 本稿では、周波数領域における関数のより効率的な表現を可能にするNPsファミリーに新たに追加されたスペクトル畳み込み条件ニューラルネットワーク(SConvCNPs)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T21:13:18Z)
• Deep Stochastic Processes via Functional Markov Transition Operators [59.55961312230447]
  本稿では,ニューラルパラメータ化マルコフ遷移作用素の列を関数空間に重ねて構築した新しいプロセス群(SP)を紹介する。 これらのマルコフ遷移作用素は、SPの交換可能性と整合性を維持することができることを証明している。
  論文  参考訳（メタデータ） (2023-05-24T21:15:23Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Latent Bottlenecked Attentive Neural Processes [71.18817592128207]
  LBANP(Latent Bottlenecked Attentive Neural Processs)について LBANPは、コンテキストデータポイントの数によらず、クエリ処理の複雑さを持つ。 LBANPは,メタ回帰,画像補完,コンテキスト的マルチアームバンディットに関する最先端技術と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-11-15T19:21:41Z)
• The Gaussian Neural Process [39.81327564209865]
  条件付きNPのトレーニングに使用される標準最大形目的の厳密な分析を行う。 本稿では, 予測相関をモデル化し, 翻訳を取り入れ, 普遍的近似保証を提供し, 促進性能を示すニューラルプロセスファミリー (gnp) の新しいメンバーを提案する。
  論文  参考訳（メタデータ） (2021-01-10T19:15:27Z)
• Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables [37.43541345780632]
  本稿では,Double Variational Neural Process (DSVNP) と呼ぶニューラル・プロセス(NP)モデルを提案する。 本モデルでは,大域的潜伏変数と局所潜伏変数を組み合わせて予測を行い,このモデルをいくつかの実験で評価し,多出力回帰における競合予測性能と分類における不確実性評価を示す。
  論文  参考訳（メタデータ） (2020-08-21T13:32:12Z)
• Bootstrapping Neural Processes [114.97111530885093]
  ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。 本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:23:34Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)
• NP-PROV: Neural Processes with Position-Relevant-Only Variances [113.20013269514327]
  位置関連性オンリーバリアース(NP-PROV)を有するニューラルプロセスと呼ばれる新しいメンバーを提案する。 NP-PROVは、その位置の関数値に関係なく、コンテキストポイントに近いターゲットポイントが小さな不確実性を持つという仮説を立てている。 我々は, NP-PROVが有界分散を維持しつつ, 最先端の可能性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-06-15T06:11:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。