論文の概要: Neural Processes with Stochastic Attention: Paying more attention to the context dataset

• arxiv url: http://arxiv.org/abs/2204.05449v1
• Date: Mon, 11 Apr 2022 23:57:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 12:13:59.098952
• Title: Neural Processes with Stochastic Attention: Paying more attention to the context dataset
• Title（参考訳）: 確率的注意を伴うニューラルプロセス:コンテキストデータセットにもっと注意を払う
• Authors: Mingyu Kim, Kyeongryeol Go, Se-Young Yun
• Abstract要約: ニューラルプロセス(NP)は、与えられたコンテキストデータセットに基づいて、目に見えないデータポイントを完成させることを目的としている。 本稿では,適切なコンテキスト情報を取得するために,NPに対する注意機構を提案する。 提案手法は様々な領域において従来のNPよりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 11.301294319986477
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural processes (NPs) aim to stochastically complete unseen data points based on a given context dataset. NPs essentially leverage a given dataset as a context representation to derive a suitable identifier for a novel task. To improve the prediction accuracy, many variants of NPs have investigated context embedding approaches that generally design novel network architectures and aggregation functions satisfying permutation invariant. In this work, we propose a stochastic attention mechanism for NPs to capture appropriate context information. From the perspective of information theory, we demonstrate that the proposed method encourages context embedding to be differentiated from a target dataset, allowing NPs to consider features in a target dataset and context embedding independently. We observe that the proposed method can appropriately capture context embedding even under noisy data sets and restricted task distributions, where typical NPs suffer from a lack of context embeddings. We empirically show that our approach substantially outperforms conventional NPs in various domains through 1D regression, predator-prey model, and image completion. Moreover, the proposed method is also validated by MovieLens-10k dataset, a real-world problem.
• Abstract（参考訳）: ニューラルプロセス(NP)は、与えられたコンテキストデータセットに基づいて、目に見えないデータポイントを確率的に完了することを目的としている。 NPは、与えられたデータセットをコンテキスト表現として利用して、新しいタスクに適した識別子を導出する。 予測精度を向上させるために、NPの多くの変種は、新しいネットワークアーキテクチャや置換不変量を満たす集約関数を設計するコンテキスト埋め込みアプローチを調査してきた。 本研究では,適切なコンテキスト情報を取得するために,NPに対する確率的注意機構を提案する。 情報理論の観点から,提案手法はコンテキスト埋め込みをターゲットデータセットと区別し,NPがターゲットデータセットの特徴を考慮し,コンテキスト埋め込みを独立して行うことを実証する。 提案手法は,一般的なNPがコンテキスト埋め込みの欠如に悩まされている,ノイズの多いデータセットや制限されたタスク分布の下でも,コンテキスト埋め込みを適切に捉えることができる。 提案手法は, 1次元回帰, 捕食者-捕食者モデル, 画像補完などにより, 様々な領域における従来のNPよりも大幅に優れていることを示す。 さらに,本手法は実世界問題である movielens-10k データセットでも検証できる。

関連論文リスト

• In-Context In-Context Learning with Transformer Neural Processes [50.57807892496024]
  In-context In-context Learning pseudo-token TNP (ICICL-TNP) を開発した。 ICICL-TNPは、データポイントとデータセットのセットの両方を条件付けし、コンテキスト内での学習を可能にする。 複数の実験において,文脈内学習の重要性とICICL-TNPの有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-19T12:26:36Z)
• Enhancing Neural Subset Selection: Integrating Background Information into Set Representations [53.15923939406772]
  対象値が入力集合とサブセットの両方に条件付けされている場合、スーパーセットのテクスティ不変な統計量を関心のサブセットに組み込むことが不可欠であることを示す。 これにより、出力値がサブセットとその対応するスーパーセットの置換に不変であることを保証する。
  論文  参考訳（メタデータ） (2024-02-05T16:09:35Z)
• Latent Bottlenecked Attentive Neural Processes [71.18817592128207]
  LBANP(Latent Bottlenecked Attentive Neural Processs)について LBANPは、コンテキストデータポイントの数によらず、クエリ処理の複雑さを持つ。 LBANPは,メタ回帰,画像補完,コンテキスト的マルチアームバンディットに関する最先端技術と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-11-15T19:21:41Z)
• Message Passing Neural Processes [3.0969191504482247]
  本稿では,モデル内の関係構造を明示的に利用するMPNP(Message Passing Neural Processs)を紹介する。 MPNPは、既存のベンチマークと新たに提案されたCAとCola-Branchedタスクに基づいて、より低いサンプリングレートで成長する。 本稿では、密度に基づくCAルールセットに対する強力な一般化と、任意のラベリングと数発の学習設定に挑戦する際の顕著な向上について報告する。
  論文  参考訳（メタデータ） (2020-09-29T09:40:09Z)
• Bootstrapping Neural Processes [114.97111530885093]
  ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。 本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:23:34Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)
• A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
  本稿では,VisDialデータセットの改訂評価手法を提案する。 モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。 DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
  論文  参考訳（メタデータ） (2020-04-20T13:26:45Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。