論文の概要: Evidential Conditional Neural Processes

• arxiv url: http://arxiv.org/abs/2212.00131v1
• Date: Wed, 30 Nov 2022 21:50:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 15:13:07.361851
• Title: Evidential Conditional Neural Processes
• Title（参考訳）: 立証条件付き神経過程
• Authors: Deep Shankar Pandey and Qi Yu
• Abstract要約: 条件付きニューラルプロセス(CNP)モデルは、数ショット問題に対処するための有望な方向を提供する。 現在のCNPモデルは、ターゲットデータポイント上での予測に対する全体的な不確実性のみをキャプチャする。 本稿では,CNPが使用する標準ガウス分布を置き換えたECNP(Evidential Conditional Neural Processs)を提案する。
• 参考スコア（独自算出の注目度）: 7.257751371276488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Conditional Neural Process (CNP) family of models offer a promising direction to tackle few-shot problems by achieving better scalability and competitive predictive performance. However, the current CNP models only capture the overall uncertainty for the prediction made on a target data point. They lack a systematic fine-grained quantification on the distinct sources of uncertainty that are essential for model training and decision-making under the few-shot setting. We propose Evidential Conditional Neural Processes (ECNP), which replace the standard Gaussian distribution used by CNP with a much richer hierarchical Bayesian structure through evidential learning to achieve epistemic-aleatoric uncertainty decomposition. The evidential hierarchical structure also leads to a theoretically justified robustness over noisy training tasks. Theoretical analysis on the proposed ECNP establishes the relationship with CNP while offering deeper insights on the roles of the evidential parameters. Extensive experiments conducted on both synthetic and real-world data demonstrate the effectiveness of our proposed model in various few-shot settings.
• Abstract（参考訳）: Conditional Neural Process (CNP) モデルファミリは、より良いスケーラビリティと競争力のある予測性能を達成することで、数ショットの問題に対処するための有望な方向を提供する。 しかし、現在のCNPモデルでは、ターゲットデータポイントでの予測に対する全体的な不確実性のみを捉えている。 モデルトレーニングや意思決定において必要となる不確実性の異なる源について、システム的な詳細な定量化が欠如している。 我々は,CNPが使用する標準ガウス分布を,明らかな学習を通じてよりリッチな階層的ベイズ構造に置き換えて,てんかん・アラート的不確実性分解を実現するための証拠条件ニューラルネットワーク(ECNP)を提案する。 明らかな階層構造は、雑音の多い訓練タスクに対して理論的に正当化された堅牢性をもたらす。 提案したECNPに関する理論的分析は、CNPとの関係を確立し、明らかなパラメータの役割についてより深い洞察を提供する。 合成データと実世界データの両方で行った広範囲な実験により,提案モデルの有効性が実証された。

関連論文リスト

• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Variational Inference for Bayesian Neural Networks under Model and Parameter Uncertainty [12.211659310564425]
  BNNにおける構造学習の枠組みとしてモデル不確実性の概念を適用した。 本稿では,限界包摂確率の再パラメータ化による拡張性のある変分推論手法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T16:38:17Z)
• Autoregressive Conditional Neural Processes [20.587835119831595]
  条件付きニューラルプロセス(CNP)は魅力的なメタラーニングモデルである。 それらはよく校正された予測を生成し、単純な最大極大手順で訓練することができる。 CNPは、予測において依存関係をモデル化できない。 我々は、モデルやトレーニング手順を変更することなく、テスト時にCNPをどのように展開するかを変更することを提案する。
  論文  参考訳（メタデータ） (2023-03-25T13:34:12Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• The Gaussian Neural Process [39.81327564209865]
  条件付きNPのトレーニングに使用される標準最大形目的の厳密な分析を行う。 本稿では, 予測相関をモデル化し, 翻訳を取り入れ, 普遍的近似保証を提供し, 促進性能を示すニューラルプロセスファミリー (gnp) の新しいメンバーを提案する。
  論文  参考訳（メタデータ） (2021-01-10T19:15:27Z)
• Message Passing Neural Processes [3.0969191504482247]
  本稿では,モデル内の関係構造を明示的に利用するMPNP(Message Passing Neural Processs)を紹介する。 MPNPは、既存のベンチマークと新たに提案されたCAとCola-Branchedタスクに基づいて、より低いサンプリングレートで成長する。 本稿では、密度に基づくCAルールセットに対する強力な一般化と、任意のラベリングと数発の学習設定に挑戦する際の顕著な向上について報告する。
  論文  参考訳（メタデータ） (2020-09-29T09:40:09Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。