論文の概要: Neural Variational Dropout Processes

• arxiv url: http://arxiv.org/abs/2510.19425v1
• Date: Wed, 22 Oct 2025 09:45:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.536399
• Title: Neural Variational Dropout Processes
• Title（参考訳）: ニューラルな変分脱落過程
• Authors: Insu Jeon, Youngjin Park, Gunhee Kim,
• Abstract要約: 本稿では,ニューラル・バリアント・ドロップアウト・プロセス(NVDP)と呼ばれる新しいベイズ的メタラーニング手法を提案する。 NVDPはタスク固有のドロップアウトに基づいて条件付き後部分布をモデル化する。 驚くべきことに、これはタスク固有のドロップアウト率のロバストな近似を可能にする。
• 参考スコア（独自算出の注目度）: 44.95055503650414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to infer the conditional posterior model is a key step for robust meta-learning. This paper presents a new Bayesian meta-learning approach called Neural Variational Dropout Processes (NVDPs). NVDPs model the conditional posterior distribution based on a task-specific dropout; a low-rank product of Bernoulli experts meta-model is utilized for a memory-efficient mapping of dropout rates from a few observed contexts. It allows for a quick reconfiguration of a globally learned and shared neural network for new tasks in multi-task few-shot learning. In addition, NVDPs utilize a novel prior conditioned on the whole task data to optimize the conditional \textit{dropout} posterior in the amortized variational inference. Surprisingly, this enables the robust approximation of task-specific dropout rates that can deal with a wide range of functional ambiguities and uncertainties. We compared the proposed method with other meta-learning approaches in the few-shot learning tasks such as 1D stochastic regression, image inpainting, and classification. The results show the excellent performance of NVDPs.
• Abstract（参考訳）: 条件付き後部モデルを推論する学習は、堅牢なメタ学習の鍵となるステップである。 本稿では,ニューラル・バリアント・ドロップアウト・プロセス (NVDP) と呼ばれる新しいベイズ的メタラーニング手法を提案する。 NVDPはタスク固有のドロップアウトに基づいて条件付き後部分布をモデル化し、ベルヌーイの専門家による低ランクのメタモデルを用いて、いくつかの観測された文脈からドロップアウト率のメモリ効率のマッピングを行う。 マルチタスクの複数ショット学習における新しいタスクのために、グローバルに学習され共有されるニューラルネットワークの迅速な再構成が可能になる。 さらに、NVDPはタスクデータ全体に対する新しい事前条件を利用して、償却変分推論における条件付き \textit{dropout} 後部を最適化する。 驚くべきことに、これは幅広い機能的曖昧さや不確実性に対処できるタスク固有のドロップアウト率の堅牢な近似を可能にする。 提案手法を, 1次元確率回帰, 画像インパインティング, 分類などの数ショット学習タスクにおいて, 他のメタ学習手法と比較した。 その結果,NVDPの性能は良好であった。

関連論文リスト

• Dimension Agnostic Neural Processes [17.417747846307996]
  メタラーニングは、さまざまなタスクデータセット間で共有機能を抽出することで、ラベル付きデータで新しいタスクに一般化可能なモデルをトレーニングすることを目的としている。 本稿では、入力特徴を固定次元空間に変換し、様々なタスクで一般化可能な幅広い特徴を学習するDmension A Neural Processes(DANP)を紹介する。 実験により,DANPは従来のNPモデルよりも優れており,従来のNPモデルの限界を克服する効果が示された。
  論文  参考訳（メタデータ） (2025-02-28T02:40:59Z)
• Meta-Sparsity: Learning Optimal Sparse Structures in Multi-task Networks through Meta-learning [4.462334751640166]
  Meta-sparsityは、ディープニューラルネットワーク(DNN)がマルチタスク学習環境で最適なスパース共有構造を生成することを可能にする、モデルのスパーシティを学習するためのフレームワークである。 Model Agnostic Meta-Learning (MAML)に触発され、マルチタスクシナリオにおける共有パラメータと最適なスパースパラメータの学習に重点を置いている。 メタスパーシティーの有効性は、2つのデータセットに対する広範な実験によって厳格に評価されている。
  論文  参考訳（メタデータ） (2025-01-21T13:25:32Z)
• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Variational Density Propagation Continual Learning [0.0]
  現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。 本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-22T21:51:39Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Improving Deep Learning Interpretability by Saliency Guided Training [36.782919916001624]
  精度法はモデル予測において重要な入力特徴を強調するために広く用いられている。 既存の方法の多くは、修正された勾配関数のバックプロパゲーションを使用して、サリエンシマップを生成する。 本稿では,予測に使用する雑音勾配を低減するために,ニューラルネットワークに対するサリエンシ指導訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:05:23Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。