論文の概要: Enhancing Diversity in Bayesian Deep Learning via Hyperspherical Energy Minimization of CKA

• arxiv url: http://arxiv.org/abs/2411.00259v1
• Date: Thu, 31 Oct 2024 23:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:32.537980
• Title: Enhancing Diversity in Bayesian Deep Learning via Hyperspherical Energy Minimization of CKA
• Title（参考訳）: CKAの超球面エネルギー最小化によるベイズ深層学習の多様性向上
• Authors: David Smerkous, Qinxun Bai, Fuxin Li,
• Abstract要約: 機能カーネル上のCKA(Centered Kernel Alignment)は、ディープネットワークを比較するために提案されているが、ベイズディープラーニングの最適化目的には使われていない。 我々は,CKAカーネル上に超球面エネルギー(HE)のアプローチを適用し,この欠点に対処し,トレーニング安定性を向上させることを提案する。
• 参考スコア（独自算出の注目度）: 20.463933005601003
• License:
• Abstract: Particle-based Bayesian deep learning often requires a similarity metric to compare two networks. However, naive similarity metrics lack permutation invariance and are inappropriate for comparing networks. Centered Kernel Alignment (CKA) on feature kernels has been proposed to compare deep networks but has not been used as an optimization objective in Bayesian deep learning. In this paper, we explore the use of CKA in Bayesian deep learning to generate diverse ensembles and hypernetworks that output a network posterior. Noting that CKA projects kernels onto a unit hypersphere and that directly optimizing the CKA objective leads to diminishing gradients when two networks are very similar. We propose adopting the approach of hyperspherical energy (HE) on top of CKA kernels to address this drawback and improve training stability. Additionally, by leveraging CKA-based feature kernels, we derive feature repulsive terms applied to synthetically generated outlier examples. Experiments on both diverse ensembles and hypernetworks show that our approach significantly outperforms baselines in terms of uncertainty quantification in both synthetic and realistic outlier detection tasks.
• Abstract（参考訳）: 粒子に基づくベイズ深層学習は、2つのネットワークを比較するために類似度指標を必要とすることが多い。 しかし、単純な類似度尺度では置換不変性が欠如しており、ネットワークの比較には不適当である。 機能カーネル上のCKA(Centered Kernel Alignment)は、ディープネットワークを比較するために提案されているが、ベイズディープラーニングの最適化目的には使われていない。 本稿では,ベイズディープラーニングにおけるCKAを用いた多様なアンサンブルとネットワーク後部を出力するハイパーネットワークの生成について検討する。 CKAはカーネルを単位超球面上に投影し、CKAの目的を直接最適化することで、2つのネットワークが非常によく似たときに勾配を減少させる。 我々は,CKAカーネル上に超球面エネルギー(HE)のアプローチを適用し,この欠点に対処し,トレーニング安定性を向上させることを提案する。 さらに,CKAをベースとした特徴カーネルを活用して,合成外乱例に適用した特徴語を導出する。 多様なアンサンブルとハイパーネットの双方の実験により、我々の手法は、合成と現実の両方の外れ値検出タスクにおける不確実な定量化の観点から、ベースラインを著しく上回ります。

関連論文リスト

• Learning Sparse Neural Networks with Identity Layers [33.11654855515443]
  本稿では,ネットワーク空間と層間特徴類似性の関係について検討する。 CKA-SRと呼ばれるスパースネットワークトレーニングのためのプラグアンドプレイCKAベースのスポーラリティ正規化を提案する。 CKA-SRは、複数のState-Of-The-Artスパース訓練法の性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-07-14T14:58:44Z)
• Binarizing Sparse Convolutional Networks for Efficient Point Cloud Analysis [93.55896765176414]
  我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。 我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。 我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
  論文  参考訳（メタデータ） (2023-03-27T13:47:06Z)
• Learning Representation for Bayesian Optimization with Collision-free Regularization [13.476552258272402]
  大規模、高次元、非定常的なデータセットは現実世界のシナリオでは一般的である。 最近の研究は、古典的なガウス過程に先立ってニューラルネットワークを適用して潜在表現を学習することで、そのような入力を処理しようとしている。 適切なネットワーク設計であっても、そのような学習された表現は、しばしば潜在空間における衝突を引き起こすことを示す。 本稿では,学習された潜伏空間における衝突を低減するために,新しい正則化器を用いた効率的な深度ベイズ最適化フレームワークであるLOCoを提案する。
  論文  参考訳（メタデータ） (2022-03-16T14:44:16Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Semiparametric Bayesian Networks [5.205440005969871]
  パラメトリックおよび非パラメトリック条件付き確率分布を組み合わせた半パラメトリックベイズネットワークを提案する。 彼らの目的は、パラメトリックモデルの有界複雑性と非パラメトリックモデルの柔軟性を統合することである。
  論文  参考訳（メタデータ） (2021-09-07T11:47:32Z)
• Consistency of random-walk based network embedding algorithms [13.214230533788932]
  node2vecアルゴリズムとDeepWalkアルゴリズムを行列ファクタリゼーションの観点から検討する。 その結果,観測ネットワークの幅,ランダムウォークのウィンドウサイズ,ノード2vec/DeepWalk埋め込みの収束率との微妙な相互作用が示唆された。
  論文  参考訳（メタデータ） (2021-01-18T22:49:22Z)
• Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
  ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
  論文  参考訳（メタデータ） (2020-06-01T05:55:18Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。