論文の概要: A Multilevel Approach to Training

• arxiv url: http://arxiv.org/abs/2006.15602v1
• Date: Sun, 28 Jun 2020 13:34:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 02:04:58.880606
• Title: A Multilevel Approach to Training
• Title（参考訳）: トレーニングへのマルチレベルアプローチ
• Authors: Vanessa Braglia and Alena Kopani\v{c}\'akov\'a and Rolf Krause
• Abstract要約: 本稿では, 離散化大規模偏微分方程式の解法としてよく用いられる非線形多値法に基づく新しい学習法を提案する。 本手法は,サンプル数を減らして階層構造を構築する。 元のモデルのトレーニングは、より少ないサンプルで構築されたシュロゲートモデルを内部でトレーニングすることで強化される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel training method based on nonlinear multilevel minimization techniques, commonly used for solving discretized large scale partial differential equations. Our multilevel training method constructs a multilevel hierarchy by reducing the number of samples. The training of the original model is then enhanced by internally training surrogate models constructed with fewer samples. We construct the surrogate models using first-order consistency approach. This gives rise to surrogate models, whose gradients are stochastic estimators of the full gradient, but with reduced variance compared to standard stochastic gradient estimators. We illustrate the convergence behavior of the proposed multilevel method to machine learning applications based on logistic regression. A comparison with subsampled Newton's and variance reduction methods demonstrate the efficiency of our multilevel method.
• Abstract（参考訳）: 離散化大規模偏微分方程式の解法としてよく用いられる非線形多レベル最小化法に基づく新しい学習法を提案する。 本手法では,サンプル数を減らすことで階層構造を構築する。 元のモデルのトレーニングは、少ないサンプルで構築されたサーロゲートモデルの内部トレーニングによって強化される。 我々は一階一貫性アプローチを用いて代理モデルを構築する。 これは、勾配が全勾配の確率的推定子であるが、標準確率的勾配推定子に比べて分散が小さくなるシュロゲートモデルをもたらす。 本稿では,ロジスティック回帰に基づく機械学習アプリケーションに対するマルチレベル手法の収束挙動について述べる。 サブサンプリングされたニュートン法と分散還元法との比較により,本手法の有効性が示された。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Predicting Ordinary Differential Equations with Transformers [65.07437364102931]
  単一溶液軌道の不規則サンプリングおよび雑音観測から,スカラー常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを開発した。 提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たな観測解の法則を推測することができる。
  論文  参考訳（メタデータ） (2023-07-24T08:46:12Z)
• Aiming towards the minimizers: fast convergence of SGD for overparametrized problems [25.077446336619378]
  本稿では,勾配法と同一のケース複雑性を有する勾配法を提案する。 既存の保証は全て勾配法で小さなステップを踏む必要があり、結果として収束速度ははるかに遅くなる。 我々は,線形出力層を用いた十分に広いフィードフォワードニューラルネットワークのトレーニングにおいて,この条件が成り立つことを実証した。
  論文  参考訳（メタデータ） (2023-06-05T05:21:01Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• GuideBP: Guiding Backpropagation Through Weaker Pathways of Parallel Logits [6.764324841419295]
  提案手法は、最も弱い概念表現に沿ったバックプロパゲーションの勾配を導く。 弱点スコアは、ロジットの作成に使用される個々の経路のクラス固有のパフォーマンスを定義する。 提案手法は従来のカラムマージ手法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2021-04-23T14:14:00Z)
• Storchastic: A Framework for General Stochastic Automatic Differentiation [9.34612743192798]
  グラフの自動微分のための新しいフレームワークであるstorchasticを紹介する。 Storchasticにより、モデラーはサンプリングステップごとに様々な勾配推定方法を選択することができる。 Storchasticは任意の階勾配の推定に偏見がなく、分散減少技術を高階勾配推定に一般化する。
  論文  参考訳（メタデータ） (2021-04-01T12:19:54Z)
• A Generalized Stacking for Implementing Ensembles of Gradient Boosting Machines [5.482532589225552]
  勾配ブースティングモデルのアンサンブル構築手法を提案する。 提案手法は任意の微分可能な組合せモデル上で簡単に拡張できることが示されている。
  論文  参考訳（メタデータ） (2020-10-12T21:05:45Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。