論文の概要: Dimension Agnostic Neural Processes

• arxiv url: http://arxiv.org/abs/2502.20661v1
• Date: Fri, 28 Feb 2025 02:40:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:41:20.053051
• Title: Dimension Agnostic Neural Processes
• Title（参考訳）: 次元に依存しないニューラルプロセス
• Authors: Hyungi Lee, Chaeyun Jang, Dongbok Lee, Juho Lee,
• Abstract要約: メタラーニングは、さまざまなタスクデータセット間で共有機能を抽出することで、ラベル付きデータで新しいタスクに一般化可能なモデルをトレーニングすることを目的としている。 本稿では、入力特徴を固定次元空間に変換し、様々なタスクで一般化可能な幅広い特徴を学習するDmension A Neural Processes(DANP)を紹介する。 実験により,DANPは従来のNPモデルよりも優れており,従来のNPモデルの限界を克服する効果が示された。
• 参考スコア（独自算出の注目度）: 17.417747846307996
• License:
• Abstract: Meta-learning aims to train models that can generalize to new tasks with limited labeled data by extracting shared features across diverse task datasets. Additionally, it accounts for prediction uncertainty during both training and evaluation, a concept known as uncertainty-aware meta-learning. Neural Process(NP) is a well-known uncertainty-aware meta-learning method that constructs implicit stochastic processes using parametric neural networks, enabling rapid adaptation to new tasks. However, existing NP methods face challenges in accommodating diverse input dimensions and learned features, limiting their broad applicability across regression tasks. To address these limitations and advance the utility of NP models as general regressors, we introduce Dimension Agnostic Neural Processes(DANP). DANP incorporates Dimension Aggregator Block(DAB) to transform input features into a fixed-dimensional space, enhancing the model's ability to handle diverse datasets. Furthermore, leveraging the Transformer architecture and latent encoding layers, DANP learns a wider range of features that are generalizable across various tasks. Through comprehensive experimentation on various synthetic and practical regression tasks, we empirically show that DANP outperforms previous NP variations, showcasing its effectiveness in overcoming the limitations of traditional NP models and its potential for broader applicability in diverse regression scenarios.
• Abstract（参考訳）: メタラーニングは、さまざまなタスクデータセット間で共有機能を抽出することで、ラベル付きデータで新しいタスクに一般化可能なモデルをトレーニングすることを目的としている。 さらに、トレーニングと評価の両方における予測の不確実性、すなわち不確実性を認識したメタラーニングという概念も考慮されている。 ニューラルプロセス(NP)は、パラメトリックニューラルネットワークを用いて暗黙の確率過程を構築し、新しいタスクへの迅速な適応を可能にする、よく知られた不確実性を考慮したメタラーニング手法である。 しかし、既存のNP手法は、様々な入力次元と学習特徴を調節し、回帰タスクにまたがる適用性を制限するという課題に直面している。 これらの制約に対処し、汎用回帰器としてのNPモデルの有用性を推し進めるために、次元非依存ニューラルプロセス(DANP)を導入する。 DANPにはDimension Aggregator Block(DAB)が組み込まれており、入力機能を固定次元空間に変換することで、さまざまなデータセットを扱うモデルの能力を高めている。 さらに、Transformerアーキテクチャと潜時符号化レイヤを活用して、DANPは様々なタスクにまたがって一般化可能な幅広い機能を学ぶ。 様々な総合的および実践的な回帰タスクに関する総合的な実験を通じて、DANPが従来のNPモデルの限界を克服する効果と、多様な回帰シナリオにおけるより広範な適用可能性を示すことを実証的に示す。

関連論文リスト

• In-Context In-Context Learning with Transformer Neural Processes [50.57807892496024]
  In-context In-context Learning pseudo-token TNP (ICICL-TNP) を開発した。 ICICL-TNPは、データポイントとデータセットのセットの両方を条件付けし、コンテキスト内での学習を可能にする。 複数の実験において,文脈内学習の重要性とICICL-TNPの有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-19T12:26:36Z)
• Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
  偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。 NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。 このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
  論文  参考訳（メタデータ） (2024-03-19T14:30:56Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Gaussian Process Neural Additive Models [3.7969209746164325]
  ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。 GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。 GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T20:29:34Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Conditional Neural Processes for Molecules [0.0]
  ニューラルプロセス(NPs)はガウス過程(GPs)に類似した特性を持つ伝達学習のモデルである 本稿では,MLモデルのベンチマークのためのドッキングスコアのデータセットであるDOCKSTRINGに対して,条件付きニューラルプロセス(CNP)を適用する。 CNPは、QSARモデリングに共通する教師付き学習ベースラインに対して、数ショットの学習タスクにおいて、競合する性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T16:10:12Z)
• Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling [26.377099481072992]
  本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。 我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。 我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-09T02:28:58Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables [37.43541345780632]
  本稿では,Double Variational Neural Process (DSVNP) と呼ぶニューラル・プロセス(NP)モデルを提案する。 本モデルでは,大域的潜伏変数と局所潜伏変数を組み合わせて予測を行い,このモデルをいくつかの実験で評価し,多出力回帰における競合予測性能と分類における不確実性評価を示す。
  論文  参考訳（メタデータ） (2020-08-21T13:32:12Z)
• Bootstrapping Neural Processes [114.97111530885093]
  ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。 本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。