論文の概要: Exploring Pseudo-Token Approaches in Transformer Neural Processes

• arxiv url: http://arxiv.org/abs/2504.14416v1
• Date: Sat, 19 Apr 2025 22:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 00:45:12.410479
• Title: Exploring Pseudo-Token Approaches in Transformer Neural Processes
• Title（参考訳）: 変圧器ニューラルプロセスにおける擬似的アプローチの探索
• Authors: Jose Lara-Rangel, Nanze Chen, Fengzhe Zhang,
• Abstract要約: ISANP(Set Attentive Neural Processs)について紹介する。 ISANPはTransformer Neural Processs (TNP) と競合し、1次元回帰、画像補完、文脈帯域幅、ベイズ最適化において最先端のモデルを上回る。 ISANPは、より大きなデータセットによくスケールする、パフォーマンスと計算の複雑さの調整可能なバランスを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Processes (NPs) have gained attention in meta-learning for their ability to quantify uncertainty, together with their rapid prediction and adaptability. However, traditional NPs are prone to underfitting. Transformer Neural Processes (TNPs) significantly outperform existing NPs, yet their applicability in real-world scenarios is hindered by their quadratic computational complexity relative to both context and target data points. To address this, pseudo-token-based TNPs (PT-TNPs) have emerged as a novel NPs subset that condense context data into latent vectors or pseudo-tokens, reducing computational demands. We introduce the Induced Set Attentive Neural Processes (ISANPs), employing Induced Set Attention and an innovative query phase to improve querying efficiency. Our evaluations show that ISANPs perform competitively with TNPs and often surpass state-of-the-art models in 1D regression, image completion, contextual bandits, and Bayesian optimization. Crucially, ISANPs offer a tunable balance between performance and computational complexity, which scale well to larger datasets where TNPs face limitations.
• Abstract（参考訳）: ニューラルプロセス(NP)は、メタラーニングにおいて、迅速な予測と適応性とともに不確実性を定量化する能力に注目されている。 しかし、従来のNPは不適合である。 トランスフォーマーニューラル・プロセス(TNP)は、既存のNPよりも大幅に優れているが、実世界のシナリオにおける適用性は、コンテキストとターゲットのデータポイントの両方に対して2次計算の複雑さによって妨げられている。 これを解決するために、擬似トークンベースのTNP(PT-TNP)は、文脈データを潜在ベクトルや擬似トークンに変換する新しいNPサブセットとして登場し、計算要求を減らした。 提案手法では, 提案手法を応用し, 提案手法を応用し, クエリ効率を向上させるために, 提案手法を導入している。 評価の結果, ISANPはTNPと競合し, 1次元回帰, 画像補完, 文脈帯域幅, ベイズ最適化において最先端モデルを上回る結果が得られた。 重要なことは、ISANPはパフォーマンスと計算の複雑さの調整可能なバランスを提供し、TNPが制限に直面している大きなデータセットにうまくスケールする。

関連論文リスト

• Dimension Agnostic Neural Processes [17.417747846307996]
  メタラーニングは、さまざまなタスクデータセット間で共有機能を抽出することで、ラベル付きデータで新しいタスクに一般化可能なモデルをトレーニングすることを目的としている。 本稿では、入力特徴を固定次元空間に変換し、様々なタスクで一般化可能な幅広い特徴を学習するDmension A Neural Processes(DANP)を紹介する。 実験により,DANPは従来のNPモデルよりも優れており,従来のNPモデルの限界を克服する効果が示された。
  論文  参考訳（メタデータ） (2025-02-28T02:40:59Z)
• In-Context In-Context Learning with Transformer Neural Processes [50.57807892496024]
  In-context In-context Learning pseudo-token TNP (ICICL-TNP) を開発した。 ICICL-TNPは、データポイントとデータセットのセットの両方を条件付けし、コンテキスト内での学習を可能にする。 複数の実験において,文脈内学習の重要性とICICL-TNPの有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-19T12:26:36Z)
• Effective Learning with Node Perturbation in Multi-Layer Neural Networks [2.1168858935852013]
  node perturbation (NP) は、ネットワークアクティベーションにノイズを注入することで学習を提案する。 NPは、非誘導ノイズに基づく探索プロセスのため、データ非効率で不安定である。 各層での入力デコリレーションと指向性デリバティブとの密接なアライメントはNP学習の性能を強く向上させる。
  論文  参考訳（メタデータ） (2023-10-02T08:12:51Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Latent Bottlenecked Attentive Neural Processes [71.18817592128207]
  LBANP(Latent Bottlenecked Attentive Neural Processs)について LBANPは、コンテキストデータポイントの数によらず、クエリ処理の複雑さを持つ。 LBANPは,メタ回帰,画像補完,コンテキスト的マルチアームバンディットに関する最先端技術と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-11-15T19:21:41Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling [26.377099481072992]
  本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。 我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。 我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-09T02:28:58Z)
• NP-Match: When Neural Processes meet Semi-Supervised Learning [133.009621275051]
  半教師付き学習(SSL)は近年広く研究されており、ラベル付きデータへの依存を減らすためにラベル付きデータを活用する効果的な方法である。 本研究では,ニューラルネットワーク(NP)を半教師付き画像分類タスクに調整し,NP-Matchと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-03T15:24:31Z)
• Message Passing Neural Processes [3.0969191504482247]
  本稿では,モデル内の関係構造を明示的に利用するMPNP(Message Passing Neural Processs)を紹介する。 MPNPは、既存のベンチマークと新たに提案されたCAとCola-Branchedタスクに基づいて、より低いサンプリングレートで成長する。 本稿では、密度に基づくCAルールセットに対する強力な一般化と、任意のラベリングと数発の学習設定に挑戦する際の顕著な向上について報告する。
  論文  参考訳（メタデータ） (2020-09-29T09:40:09Z)
• Bootstrapping Neural Processes [114.97111530885093]
  ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。 本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。