論文の概要: Structured Sparsity Inducing Adaptive Optimizers for Deep Learning
- arxiv url: http://arxiv.org/abs/2102.03869v1
- Date: Sun, 7 Feb 2021 18:06:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-09 22:51:54.435754
- Title: Structured Sparsity Inducing Adaptive Optimizers for Deep Learning
- Title（参考訳）: 深層学習のための適応最適化器を誘起する構造化スパーシティ
- Authors: Tristan Deleu, Yoshua Bengio
- Abstract要約: 本稿では、近位勾配法に必要な成分である重み付き近位作用素を導出する。
この適応法は, 重み付き近位演算子とともに, 空間パターンに構造をもつ解を求めることができることを示す。
- 参考スコア（独自算出の注目度）: 94.23102887731417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The parameters of a neural network are naturally organized in groups, some of
which might not contribute to its overall performance. To prune out unimportant
groups of parameters, we can include some non-differentiable penalty to the
objective function, and minimize it using proximal gradient methods. In this
paper, we derive the weighted proximal operator, which is a necessary component
of these proximal methods, of two structured sparsity inducing penalties.
Moreover, they can be approximated efficiently with a numerical solver, and
despite this approximation, we prove that existing convergence guarantees are
preserved when these operators are integrated as part of a generic adaptive
proximal method. Finally, we show that this adaptive method, together with the
weighted proximal operators derived here, is indeed capable of finding
solutions with structure in their sparsity patterns, on representative examples
from computer vision and natural language processing.
- Abstract（参考訳）: ニューラルネットワークのパラメータは自然にグループ化され、その一部は全体的なパフォーマンスに寄与しないかもしれない。
パラメータの重要でないグループを排除するために、目的関数に非微分性のペナルティを含み、近位勾配法を用いて最小化することができる。
本稿では,これら近位法の必要成分である重み付き近位演算子を2つの構造的間隔で導出し,罰則を導出する。
さらに, 数値解法を用いて効率よく近似することが可能であり, この近似にも拘わらず, これらの演算子を一般適応近似法の一部として統合した場合, 既存の収束保証が保存されることを示す。
最後に, この適応法は, 重み付き近位作用素とともに, コンピュータビジョンや自然言語処理の代表的な例として, スパーシティパターンの構造を持つ解を見つけることができることを示す。
関連論文リスト
- Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
最適公正表現はいくつかの有用な構造特性を持つことを示す。
そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
論文 参考訳（メタデータ） (2024-09-26T08:46:48Z) - Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳（メタデータ） (2024-06-04T20:33:22Z) - Unnatural Algorithms in Machine Learning [0.0]
この特性を持つ最適化アルゴリズムは、自然勾配降下の離散近似とみなすことができる。
本稿では、この自然性をより一般的に導入する簡単な方法を紹介し、多くの一般的な機械学習トレーニングアルゴリズムについて検討する。
論文 参考訳（メタデータ） (2023-12-07T22:43:37Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Contraction-Guided Adaptive Partitioning for Reachability Analysis of
Neural Network Controlled Systems [5.359060261460183]
非線形フィードバックループにおける区間値到達可能集合の推定値を改善するための収縮誘導適応分割アルゴリズムを提案する。
ニューラルネットワーク検証ステップとリーチビリティパーティショニングレイヤの分離を活用することで、アルゴリズムは計算コストの少ない精度の向上を提供することができる。
本稿では,現状の手法と比較して,ランタイムのごく一部において,到達可能な集合推定の精度が大幅に向上したことを報告する。
論文 参考訳（メタデータ） (2023-04-07T14:43:21Z) - Lifted Bregman Training of Neural Networks [28.03724379169264]
本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。
この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。
ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
論文 参考訳（メタデータ） (2022-08-18T11:12:52Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳（メタデータ） (2022-07-02T10:00:35Z) - A Stochastic Bundle Method for Interpolating Networks [18.313879914379008]
本稿では,実験的な損失をゼロにすることができるディープニューラルネットワークのトレーニング手法を提案する。
各イテレーションにおいて,本手法は目的学習近似のバンドルとして知られる最大線形近似を構成する。
論文 参考訳（メタデータ） (2022-01-29T23:02:30Z) - The Advantage of Conditional Meta-Learning for Biased Regularization and
Fine-Tuning [50.21341246243422]
バイアスレギュラー化と微調整は、最近の2つのメタラーニングアプローチである。
本稿では,条件付き関数マッピングタスクの側情報をメタパラメータベクトルに推論する条件付きメタラーニングを提案する。
次に、実際には同等の利点をもたらす凸メタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-25T07:32:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。