論文の概要: Input gradient diversity for neural network ensembles

• arxiv url: http://arxiv.org/abs/2306.02775v1
• Date: Mon, 5 Jun 2023 11:00:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:41:55.958707
• Title: Input gradient diversity for neural network ensembles
• Title（参考訳）: ニューラルネットワークアンサンブルに対する入力勾配の多様性
• Authors: Trung Trinh, Markus Heinonen, Luigi Acerbi, Samuel Kaski
• Abstract要約: FoRDE (First-order Repulsive Deep Ensemble) は、ParVIに基づくアンサンブル学習手法である。 画像分類データセットの実験により、FORDEは金標準のDEよりも著しく優れていた。
• 参考スコア（独自算出の注目度）: 26.64657196802115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Ensembles (DEs) demonstrate improved accuracy, calibration and robustness to perturbations over single neural networks partly due to their functional diversity. Particle-based variational inference (ParVI) methods enhance diversity by formalizing a repulsion term based on a network similarity kernel. However, weight-space repulsion is inefficient due to over-parameterization, while direct function-space repulsion has been found to produce little improvement over DEs. To sidestep these difficulties, we propose First-order Repulsive Deep Ensemble (FoRDE), an ensemble learning method based on ParVI, which performs repulsion in the space of first-order input gradients. As input gradients uniquely characterize a function up to translation and are much smaller in dimension than the weights, this method guarantees that ensemble members are functionally different. Intuitively, diversifying the input gradients encourages each network to learn different features, which is expected to improve the robustness of an ensemble. Experiments on image classification datasets show that FoRDE significantly outperforms the gold-standard DEs and other ensemble methods in accuracy and calibration under covariate shift due to input perturbations.
• Abstract（参考訳）: ディープ・アンサンブル(Deep Ensembles, DE)は、単一ニューラルネットワーク上の摂動に対する精度の向上、校正、堅牢性を示す。 パーティクルベース変分推論(ParVI)法は,ネットワーク類似性カーネルに基づく反発項を形式化し,多様性を高める。 しかし, 過パラメータ化により重量空間反発は非効率であり, 直接関数空間反発はdesよりもほとんど改善しないことがわかった。 そこで本研究では,1次入力勾配の空間で反発を行うparviに基づくアンサンブル学習法であるfordeを提案する。 入力勾配は、翻訳までの関数を特徴付け、重みよりも寸法がはるかに小さいため、アンサンブル部材が機能的に異なることが保証される。 直感的には、入力勾配の多様化は各ネットワークに異なる特徴を学習させ、アンサンブルの堅牢性を改善することが期待されている。 画像分類データセットの実験により、FORDEは入力摂動による共変量シフトの精度とキャリブレーションにおいて、金標準のDESや他のアンサンブル法を著しく上回っていることが示された。

関連論文リスト

• Diffusion-PINN Sampler [6.656265182236135]
  物理インフォームドニューラルネットワーク(PINN)を用いて,基礎となるSDEの対数密度の制御偏微分方程式を解くことにより,ドリフト項を推定する新しい拡散型サンプリングアルゴリズムを提案する。 DPSの収束保証を確立するために、PINN残差損失によって対数密度近似の誤差を制御できることを証明した。
  論文  参考訳（メタデータ） (2024-10-20T09:02:16Z)
• QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
  バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。 これにより、ネットワークは微妙な入力摂動から学習することができる。 量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
  論文  参考訳（メタデータ） (2024-05-22T17:34:18Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Feature Space Particle Inference for Neural Network Ensembles [13.392254060510666]
  粒子ベースの推論法はベイズの観点から有望なアプローチを提供する。 特定の中間層が活性化される特徴空間における粒子の最適化を提案する。 提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。
  論文  参考訳（メタデータ） (2022-06-02T09:16:26Z)
• Learning via nonlinear conjugate gradients and depth-varying neural ODEs [5.565364597145568]
  ニューラル常微分方程式(NODE)における深度可変パラメータの教師付き再構成の逆問題について考察する。 提案したパラメータ再構成は,コスト関数の最小化による一般一階微分方程式に対して行われる。 感度問題は、トレーニングされたパラメータの摂動下でのネットワーク出力の変化を推定することができる。
  論文  参考訳（メタデータ） (2022-02-11T17:00:48Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Efficient training of physics-informed neural networks via importance sampling [2.9005223064604078]
  Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。 重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
  論文  参考訳（メタデータ） (2021-04-26T02:45:10Z)
• Fast Gravitational Approach for Rigid Point Set Registration with Ordinary Differential Equations [79.71184760864507]
  本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。 FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。 従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
  論文  参考訳（メタデータ） (2020-09-28T15:05:39Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。