論文の概要: In-Context In-Context Learning with Transformer Neural Processes

• arxiv url: http://arxiv.org/abs/2406.13493v1
• Date: Wed, 19 Jun 2024 12:26:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 19:53:21.011990
• Title: In-Context In-Context Learning with Transformer Neural Processes
• Title（参考訳）: 変圧器ニューラルプロセスを用いたインコンテキストインコンテキスト学習
• Authors: Matthew Ashman, Cristiana Diaconu, Adrian Weller, Richard E. Turner,
• Abstract要約: In-context In-context Learning pseudo-token TNP (ICICL-TNP) を開発した。 ICICL-TNPは、データポイントとデータセットのセットの両方を条件付けし、コンテキスト内での学習を可能にする。 複数の実験において,文脈内学習の重要性とICICL-TNPの有効性を実証した。
• 参考スコア（独自算出の注目度）: 50.57807892496024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural processes (NPs) are a powerful family of meta-learning models that seek to approximate the posterior predictive map of the ground-truth stochastic process from which each dataset in a meta-dataset is sampled. There are many cases in which practitioners, besides having access to the dataset of interest, may also have access to other datasets that share similarities with it. In this case, integrating these datasets into the NP can improve predictions. We equip NPs with this functionality and describe this paradigm as in-context in-context learning. Standard NP architectures, such as the convolutional conditional NP (ConvCNP) or the family of transformer neural processes (TNPs), are not capable of in-context in-context learning, as they are only able to condition on a single dataset. We address this shortcoming by developing the in-context in-context learning pseudo-token TNP (ICICL-TNP). The ICICL-TNP builds on the family of PT-TNPs, which utilise pseudo-token-based transformer architectures to sidestep the quadratic computational complexity associated with regular transformer architectures. Importantly, the ICICL-TNP is capable of conditioning on both sets of datapoints and sets of datasets, enabling it to perform in-context in-context learning. We demonstrate the importance of in-context in-context learning and the effectiveness of the ICICL-TNP in a number of experiments.
• Abstract（参考訳）: ニューラル・プロセス(NP)は、メタ・データセットの各データセットがサンプリングされる基底構造確率過程の後方予測マップを近似しようとするメタ・ラーニング・モデルの強力なファミリーである。 実践者が興味のあるデータセットにアクセスする以外に、類似点を共有する他のデータセットにもアクセスできるケースが多数ある。 この場合、これらのデータセットをNPに統合することで予測を改善することができる。 この機能をNPに装備し、このパラダイムをコンテキスト内学習として記述する。 畳み込み条件NP(ConvCNP)やトランスフォーマーニューラルプロセス(TNP)といった標準NPアーキテクチャは、単一のデータセットでのみ条件を指定できるため、コンテキスト内学習ができない。 In-context in-context learning pseudo-token TNP (ICICL-TNP)を開発した。 ICICL-TNPはPT-TNPのファミリの上に構築されており、これは擬似トークンベースのトランスフォーマーアーキテクチャを利用して、通常のトランスフォーマーアーキテクチャに関連する2次計算複雑性をサイドステップする。 ICICL-TNPは、データセットの集合とデータセットの集合の両方を条件付けし、コンテキスト内での学習を可能にする。 複数の実験において,文脈内学習の重要性とICICL-TNPの有効性を実証した。

関連論文リスト

• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Latent Bottlenecked Attentive Neural Processes [71.18817592128207]
  LBANP(Latent Bottlenecked Attentive Neural Processs)について LBANPは、コンテキストデータポイントの数によらず、クエリ処理の複雑さを持つ。 LBANPは,メタ回帰,画像補完,コンテキスト的マルチアームバンディットに関する最先端技術と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-11-15T19:21:41Z)
• Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling [26.377099481072992]
  本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。 我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。 我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-09T02:28:58Z)
• NP-Match: When Neural Processes meet Semi-Supervised Learning [133.009621275051]
  半教師付き学習(SSL)は近年広く研究されており、ラベル付きデータへの依存を減らすためにラベル付きデータを活用する効果的な方法である。 本研究では,ニューラルネットワーク(NP)を半教師付き画像分類タスクに調整し,NP-Matchと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-03T15:24:31Z)
• Neural Processes with Stochastic Attention: Paying more attention to the context dataset [11.301294319986477]
  ニューラルプロセス(NP)は、与えられたコンテキストデータセットに基づいて、目に見えないデータポイントを完成させることを目的としている。 本稿では,適切なコンテキスト情報を取得するために,NPに対する注意機構を提案する。 提案手法は様々な領域において従来のNPよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-11T23:57:19Z)
• Text-based NP Enrichment [51.403543011094975]
  我々は、テキストベースのNPエンリッチメント(TNE)のタスクを確立する。つまり、各NPに、テキスト内の他のNPとの間に保持されるすべての前置詞による関係を豊かにする。 人間はこのような関係をシームレスに回復するが、現在の最先端モデルは問題の暗黙的な性質のためにそれらと戦っている。 この問題に対する最初の大規模データセットを構築し、正式なフレーミングとアノテーションの範囲を提供し、データを解析し、タスクに微調整されたニューラルネットワークモデルの結果を報告する。
  論文  参考訳（メタデータ） (2021-09-24T17:23:25Z)
• Message Passing Neural Processes [3.0969191504482247]
  本稿では,モデル内の関係構造を明示的に利用するMPNP(Message Passing Neural Processs)を紹介する。 MPNPは、既存のベンチマークと新たに提案されたCAとCola-Branchedタスクに基づいて、より低いサンプリングレートで成長する。 本稿では、密度に基づくCAルールセットに対する強力な一般化と、任意のラベリングと数発の学習設定に挑戦する際の顕著な向上について報告する。
  論文  参考訳（メタデータ） (2020-09-29T09:40:09Z)
• Bootstrapping Neural Processes [114.97111530885093]
  ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。 本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。