論文の概要: Feature Space Particle Inference for Neural Network Ensembles

• arxiv url: http://arxiv.org/abs/2206.00944v1
• Date: Thu, 2 Jun 2022 09:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 13:26:22.782024
• Title: Feature Space Particle Inference for Neural Network Ensembles
• Title（参考訳）: ニューラルネットワークアンサンブルのための特徴空間粒子推定
• Authors: Shingo Yashima, Teppei Suzuki, Kohta Ishikawa, Ikuro Sato, Rei Kawakami
• Abstract要約: 粒子ベースの推論法はベイズの観点から有望なアプローチを提供する。 特定の中間層が活性化される特徴空間における粒子の最適化を提案する。 提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。
• 参考スコア（独自算出の注目度）: 13.392254060510666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembles of deep neural networks demonstrate improved performance over single models. For enhancing the diversity of ensemble members while keeping their performance, particle-based inference methods offer a promising approach from a Bayesian perspective. However, the best way to apply these methods to neural networks is still unclear: seeking samples from the weight-space posterior suffers from inefficiency due to the over-parameterization issues, while seeking samples directly from the function-space posterior often results in serious underfitting. In this study, we propose optimizing particles in the feature space where the activation of a specific intermediate layer lies to address the above-mentioned difficulties. Our method encourages each member to capture distinct features, which is expected to improve ensemble prediction robustness. Extensive evaluation on real-world datasets shows that our model significantly outperforms the gold-standard Deep Ensembles on various metrics, including accuracy, calibration, and robustness. Code is available at https://github.com/DensoITLab/featurePI .
• Abstract（参考訳）: ディープニューラルネットワークのアンサンブルは、単一モデルに対するパフォーマンスの向上を示しています。 性能を維持しながらアンサンブルメンバーの多様性を高めるために、粒子ベースの推論手法はベイズの観点から有望なアプローチを提供する。 しかし、これらの手法をニューラルネットワークに適用する最善の方法は、まだ不明である:重み空間後部からのサンプルの探索は、過度なパラメータ化の問題によって非効率に苦しむ一方で、関数空間後部から直接のサンプルの探索は、しばしば深刻な不適合をもたらす。 本研究では,上記の課題に対処するため,特定の中間層が活性化される特徴空間における粒子の最適化を提案する。 提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。 実世界のデータセットの広範な評価は、精度、キャリブレーション、ロバスト性など、様々な指標でゴールド標準のディープアンサンブルを大幅に上回っていることを示している。 コードはhttps://github.com/DensoITLab/featurePIで入手できる。

関連論文リスト

• Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles [11.551956337460982]
  粒子最適化による関数空間の推測と不確実性推定を改善するための実用的な修正について論じる。 本研究では,粒子予測を多種多様に強制する入力サンプルがモデル性能に有害であることを示す。 トレーニングデータ自体の多様性は不適合につながる可能性があるが、ラベル削除データの拡張や、ラベル付けされていないアウト・オブ・ディストリビューションデータを使用することは、予測の多様性と不確実性の推定を改善することができる。
  論文  参考訳（メタデータ） (2024-12-20T10:24:08Z)
• Function Space Bayesian Pseudocoreset for Bayesian Neural Networks [16.952160718249292]
  ベイズ擬似コアセット(Bayesian pseudocoreset)は、大規模データセットの基本情報を要約したコンパクトな合成データセットである。 本稿では,関数空間上で動作する新しいベイズ擬似コアセット構築法を提案する。 関数空間を直接扱うことで、重み空間で作業する際に生じるいくつかの課題を回避できる。
  論文  参考訳（メタデータ） (2023-10-27T02:04:31Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Black-box Coreset Variational Inference [13.892427580424444]
  本稿では,基本モデルに対する変分コアセットの原理的適用を可能にするため,基本モデルに対するブラックボックス変分推論フレームワークを提案する。 本手法を教師あり学習問題に適用し,データ要約と推論のための文献における既存手法と比較する。
  論文  参考訳（メタデータ） (2022-11-04T11:12:09Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• Ensembles of Spiking Neural Networks [0.3007949058551534]
  本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。 MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。 我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
  論文  参考訳（メタデータ） (2020-10-15T17:45:18Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。