論文の概要: Latent Bottlenecked Attentive Neural Processes

• arxiv url: http://arxiv.org/abs/2211.08458v1
• Date: Tue, 15 Nov 2022 19:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 14:11:32.906257
• Title: Latent Bottlenecked Attentive Neural Processes
• Title（参考訳）: 潜在ボトルネック型注意神経過程
• Authors: Leo Feng, Hossein Hajimirsadeghi, Yoshua Bengio, Mohamed Osama Ahmed
• Abstract要約: LBANP(Latent Bottlenecked Attentive Neural Processs)について LBANPは、コンテキストデータポイントの数によらず、クエリ処理の複雑さを持つ。 LBANPは,メタ回帰,画像補完,コンテキスト的マルチアームバンディットに関する最先端技術と競合する結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 71.18817592128207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Processes (NPs) are popular methods in meta-learning that can estimate predictive uncertainty on target datapoints by conditioning on a context dataset. Previous state-of-the-art method Transformer Neural Processes (TNPs) achieve strong performance but require quadratic computation with respect to the number of context datapoints, significantly limiting its scalability. Conversely, existing sub-quadratic NP variants perform significantly worse than that of TNPs. Tackling this issue, we propose Latent Bottlenecked Attentive Neural Processes (LBANPs), a new computationally efficient sub-quadratic NP variant, that has a querying computational complexity independent of the number of context datapoints. The model encodes the context dataset into a constant number of latent vectors on which self-attention is performed. When making predictions, the model retrieves higher-order information from the context dataset via multiple cross-attention mechanisms on the latent vectors. We empirically show that LBANPs achieve results competitive with the state-of-the-art on meta-regression, image completion, and contextual multi-armed bandits. We demonstrate that LBANPs can trade-off the computational cost and performance according to the number of latent vectors. Finally, we show LBANPs can scale beyond existing attention-based NP variants to larger dataset settings.
• Abstract（参考訳）: ニューラルネットワーク(NP)は、コンテキストデータセットに条件付けすることで、ターゲットデータポイントの予測不確実性を推定できるメタラーニングにおいて一般的な手法である。 従来の最先端手法であるTransformer Neural Processs (TNP) は、高い性能を実現するが、コンテキストデータポイントの数に関して2次計算を必要とするため、スケーラビリティは著しく制限される。 逆に、既存のサブクワッドラティックNP変種は、NPの変種よりも著しく悪化する。 この問題に対処するため、我々は、コンテキストデータポイント数に依存しないクエリ計算複雑性を持つ計算効率の低いNP変種であるLBANP(Latent Bottlenecked Attentive Neural Processs)を提案する。 モデルは、コンテキストデータセットを、自己アテンションが実行される定数の潜在ベクトルに符号化する。 予測を行う際、モデルは潜在ベクトル上の複数のクロスアテンション機構を介してコンテキストデータセットから高次情報を取得する。 我々は,LBANPがメタ回帰,画像補完,コンテキスト的マルチアームバンディットの最先端技術と競合する結果を実証的に示す。 LBANPは遅延ベクトルの数に応じて計算コストと性能をトレードオフできることを示す。 最後に、LBANPは、既存の注目に基づくNP変種を超えて、より大きなデータセット設定にスケール可能であることを示す。

関連論文リスト

• In-Context In-Context Learning with Transformer Neural Processes [50.57807892496024]
  In-context In-context Learning pseudo-token TNP (ICICL-TNP) を開発した。 ICICL-TNPは、データポイントとデータセットのセットの両方を条件付けし、コンテキスト内での学習を可能にする。 複数の実験において,文脈内学習の重要性とICICL-TNPの有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-19T12:26:36Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling [26.377099481072992]
  本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。 我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。 我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-09T02:28:58Z)
• Practical Conditional Neural Processes Via Tractable Dependent Predictions [25.15531845287349]
  条件付きニューラルプロセス(CNP)は、ディープラーニングの柔軟性を利用して、よく校正された予測を生成するメタラーニングモデルである。 CNPは相関予測を生成せず、多くの見積もりや意思決定タスクに不適当である。 本稿では,相関予測を行い,精度の高い学習を支援するニューラル・プロセス・モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-16T17:37:41Z)
• Message Passing Neural Processes [3.0969191504482247]
  本稿では,モデル内の関係構造を明示的に利用するMPNP(Message Passing Neural Processs)を紹介する。 MPNPは、既存のベンチマークと新たに提案されたCAとCola-Branchedタスクに基づいて、より低いサンプリングレートで成長する。 本稿では、密度に基づくCAルールセットに対する強力な一般化と、任意のラベリングと数発の学習設定に挑戦する際の顕著な向上について報告する。
  論文  参考訳（メタデータ） (2020-09-29T09:40:09Z)
• Bootstrapping Neural Processes [114.97111530885093]
  ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。 本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:23:34Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)
• Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors [75.58555462743585]
  訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。 Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。 連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
  論文  参考訳（メタデータ） (2020-04-21T15:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。