論文の概要: Translation Equivariant Transformer Neural Processes

• arxiv url: http://arxiv.org/abs/2406.12409v1
• Date: Tue, 18 Jun 2024 08:58:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:46:52.551140
• Title: Translation Equivariant Transformer Neural Processes
• Title（参考訳）: 翻訳等価変圧器ニューラルプロセス
• Authors: Matthew Ashman, Cristiana Diaconu, Junhyuck Kim, Lakee Sivaraya, Stratis Markou, James Requeima, Wessel P. Bruinsma, Richard E. Turner,
• Abstract要約: 後部予測マップのモデル化における神経プロセス(NP)の有効性は,開始当初より著しく改善されている。 この改善は、(1)すべての分布である置換不変集合関数のアーキテクチャの進歩、(2)真の後続予測写像に存在する対称性の活用である。
• 参考スコア（独自算出の注目度）: 22.463975744505717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The effectiveness of neural processes (NPs) in modelling posterior prediction maps -- the mapping from data to posterior predictive distributions -- has significantly improved since their inception. This improvement can be attributed to two principal factors: (1) advancements in the architecture of permutation invariant set functions, which are intrinsic to all NPs; and (2) leveraging symmetries present in the true posterior predictive map, which are problem dependent. Transformers are a notable development in permutation invariant set functions, and their utility within NPs has been demonstrated through the family of models we refer to as TNPs. Despite significant interest in TNPs, little attention has been given to incorporating symmetries. Notably, the posterior prediction maps for data that are stationary -- a common assumption in spatio-temporal modelling -- exhibit translation equivariance. In this paper, we introduce of a new family of translation equivariant TNPs that incorporate translation equivariance. Through an extensive range of experiments on synthetic and real-world spatio-temporal data, we demonstrate the effectiveness of TE-TNPs relative to their non-translation-equivariant counterparts and other NP baselines.
• Abstract（参考訳）: 後部予測マップ(データから後部予測分布へのマッピング)のモデル化における神経プロセス(NP)の有効性は,開始当初から大幅に改善されている。 この改善は、(1)すべてのNPに固有の置換不変集合関数のアーキテクチャの進歩、(2)問題に依存する真の後続予測写像に存在する対称性の活用の2つの主要な要因に起因している。 変圧器は置換不変集合関数の顕著な発展であり、NPの効用は我々が TNP と呼ぶモデルのファミリを通じて証明されている。 TNPに対する大きな関心にもかかわらず、対称性を取り入れることにはほとんど関心が向けられていない。 特に、時空間モデリングにおける一般的な仮定である定常データに対する後続予測マップは、翻訳等価性を示す。 本稿では,翻訳同値を組み込んだ翻訳同値なTNPを新たに導入する。 合成時空間データおよび実世界の時空間データに関する幅広い実験を通じて, TE-TNPsの非翻訳同変データおよび他のNPベースラインに対する有効性を示す。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
  現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。 本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
  論文  参考訳（メタデータ） (2022-09-17T17:02:35Z)
• Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling [26.377099481072992]
  本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。 我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。 我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-09T02:28:58Z)
• Deformation Robust Roto-Scale-Translation Equivariant CNNs [10.44236628142169]
  グループ同変畳み込みニューラルネットワーク(G-CNN)は,固有対称性を持つ一般化性能を著しく向上させる。 G-CNNの一般的な理論と実践的実装は、回転またはスケーリング変換の下での平面画像に対して研究されている。
  論文  参考訳（メタデータ） (2021-11-22T03:58:24Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Group Equivariant Conditional Neural Processes [30.134634059773703]
  群同変条件ニューラルプロセス(EquivCNP)を提案する。 EquivCNPは1次元回帰タスクにおいて従来の条件付きニューラルプロセスに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2021-02-17T13:50:07Z)
• Equivariant Learning of Stochastic Fields: Gaussian Processes and Steerable Conditional Neural Processes [44.51932024971217]
  我々は,物理や工学で発生するような,サンプルがフィールドであるプロセスについて,学習分野の問題を考察する。 本稿では,ニューラル・プロセス・ファミリーの完全同変であるステアブル・コンディショナル・ニューラル・プロセス(SteerCNPs)を紹介する。 ガウス過程ベクトル場、画像、実世界の気象データを用いて実験したところ、SteerCNPsは過去のモデルの性能を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2020-11-25T18:00:40Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)
• NP-PROV: Neural Processes with Position-Relevant-Only Variances [113.20013269514327]
  位置関連性オンリーバリアース(NP-PROV)を有するニューラルプロセスと呼ばれる新しいメンバーを提案する。 NP-PROVは、その位置の関数値に関係なく、コンテキストポイントに近いターゲットポイントが小さな不確実性を持つという仮説を立てている。 我々は, NP-PROVが有界分散を維持しつつ, 最先端の可能性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-06-15T06:11:21Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。