論文の概要: A Stochastic Bundle Method for Interpolating Networks

• arxiv url: http://arxiv.org/abs/2201.12678v1
• Date: Sat, 29 Jan 2022 23:02:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 15:43:05.963306
• Title: A Stochastic Bundle Method for Interpolating Networks
• Title（参考訳）: ネットワーク補間のための確率的バンドル法
• Authors: Alasdair Paren, Leonard Berrada, Rudra P. K. Poudel, M. Pawan Kumar
• Abstract要約: 本稿では,実験的な損失をゼロにすることができるディープニューラルネットワークのトレーニング手法を提案する。 各イテレーションにおいて,本手法は目的学習近似のバンドルとして知られる最大線形近似を構成する。
• 参考スコア（独自算出の注目度）: 18.313879914379008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel method for training deep neural networks that are capable of interpolation, that is, driving the empirical loss to zero. At each iteration, our method constructs a stochastic approximation of the learning objective. The approximation, known as a bundle, is a pointwise maximum of linear functions. Our bundle contains a constant function that lower bounds the empirical loss. This enables us to compute an automatic adaptive learning rate, thereby providing an accurate solution. In addition, our bundle includes linear approximations computed at the current iterate and other linear estimates of the DNN parameters. The use of these additional approximations makes our method significantly more robust to its hyperparameters. Based on its desirable empirical properties, we term our method Bundle Optimisation for Robust and Accurate Training (BORAT). In order to operationalise BORAT, we design a novel algorithm for optimising the bundle approximation efficiently at each iteration. We establish the theoretical convergence of BORAT in both convex and non-convex settings. Using standard publicly available data sets, we provide a thorough comparison of BORAT to other single hyperparameter optimisation algorithms. Our experiments demonstrate BORAT matches the state-of-the-art generalisation performance for these methods and is the most robust.
• Abstract（参考訳）: 本稿では,経験的損失をゼロにする補間が可能な深層ニューラルネットワークの学習法を提案する。 各イテレーションにおいて,本手法は学習目標の確率近似を構成する。 近似は束( bundle)と呼ばれ、線型関数のポイントワイズ最大値である。 私たちのバンドルは、経験的損失を下げる定数関数を含む。 これにより、自動適応学習率の計算が可能となり、正確な解が得られる。 さらに、本バンドルは、現在の繰り返しで計算された線形近似と、他のDNNパラメータの線形推定を含む。 これらの追加近似を用いることで、我々の手法はハイパーパラメータに対して著しく堅牢になる。 その望ましい経験的特性に基づいて、ロバストかつ正確なトレーニング(borat)のためのメソッドバンドル最適化(method bundle optimization)を呼ぶ。 BORATを運用するために,各イテレーションで効率よくバンドル近似を最適化する新しいアルゴリズムを設計する。 ボラトの理論的収束を凸と非凸の両方の設定で確立する。 標準の公開データセットを用いて、BORATと他の単一パラメータ最適化アルゴリズムを徹底的に比較する。 我々の実験は、BORATがこれらの手法の最先端の一般化性能と一致し、最も堅牢であることを示した。

関連論文リスト

• Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
  本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。 また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2024-05-23T12:25:22Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Linear Time Kernel Matrix Approximation via Hyperspherical Harmonics [3.24890820102255]
  機械学習のカーネル手法で発生する行列の低ランク近似を構築するための新しい手法を提案する。 提案手法では,基礎となるカーネル関数の解析的拡張をデータ依存圧縮ステップと組み合わせて,近似をさらに最適化する。 実験の結果,提案手法は,与えられたランクの精度と,与えられた精度の計算時間の両方に関して,カーネル,次元,データセットにまたがってよく用いられるNystrom法と比較した。
  論文  参考訳（メタデータ） (2022-02-08T05:19:39Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Minibatch and Momentum Model-based Methods for Stochastic Non-smooth Non-convex Optimization [3.4809730725241597]
  モデルベース手法に対する2つの重要な拡張を行う。 まず,各イテレーションのモデル関数を近似するために,サンプルの集合を用いる新しいミニバッチを提案する。 第二に、運動量法の成功により、新しい凸モデルを提案する。
  論文  参考訳（メタデータ） (2021-06-06T05:31:57Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。