論文の概要: Guided Learning of Nonconvex Models through Successive Functional
Gradient Optimization
- arxiv url: http://arxiv.org/abs/2006.16840v1
- Date: Tue, 30 Jun 2020 14:31:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 04:54:15.994120
- Title: Guided Learning of Nonconvex Models through Successive Functional
Gradient Optimization
- Title(参考訳): 逐次関数勾配最適化による非凸モデルの誘導学習
- Authors: Rie Johnson and Tong Zhang
- Abstract要約: 本稿では,ニューラルネットワークのような非機能モデルに対する勾配最適化のためのフレームワークを提案する。
この枠組みから導出した理論的解析手法を提案する。
- 参考スコア(独自算出の注目度): 22.603803397940133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a framework of successive functional gradient
optimization for training nonconvex models such as neural networks, where
training is driven by mirror descent in a function space. We provide a
theoretical analysis and empirical study of the training method derived from
this framework. It is shown that the method leads to better performance than
that of standard training techniques.
- Abstract(参考訳): 本稿では,関数空間内のミラー降下によって学習を駆動するニューラルネットワークなどの非凸モデルの学習のための,逐次関数勾配最適化の枠組みを提案する。
本稿では,この枠組みに基づく学習方法の理論解析と経験的研究を行う。
その結果,本手法は標準訓練法よりも優れた性能を示すことがわかった。
関連論文リスト
- Sobolev Training for Operator Learning [4.97999729336721]
本研究では,ソボレフ訓練がモデル性能向上のための演算子学習フレームワークに与える影響について検討する。
本研究は, 損失関数に導関数情報を統合することにより, 学習過程が向上することを明らかにする。
演算子学習における不規則メッシュ上の微分を近似する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2024-02-14T10:57:29Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T15:00:09Z) - Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-25T21:49:09Z) - Homotopy-based training of NeuralODEs for accurate dynamics discovery [0.0]
我々は,同期とホモトピー最適化に基づくニューラルノードの新しいトレーニング手法を開発した。
モデルダイナミクスとトレーニングデータとを同期させることで、もともと不規則なロスランドスケープを味わうことを示す。
本手法は,トレーニングエポックの半数以下を必要としながら,競争力やより良いトレーニング損失を達成する。
論文 参考訳(メタデータ) (2022-10-04T06:32:45Z) - Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文 参考訳(メタデータ) (2022-06-16T01:50:25Z) - Planning with Diffusion for Flexible Behavior Synthesis [125.24438991142573]
我々は、できるだけ多くの軌道最適化パイプラインをモデリング問題に折り畳むことがどう見えるか検討する。
我々の技術的アプローチの核心は、軌道を反復的にデノベーションすることで計画する拡散確率モデルにある。
論文 参考訳(メタデータ) (2022-05-20T07:02:03Z) - A theoretical and empirical study of new adaptive algorithms with
additional momentum steps and shifted updates for stochastic non-convex
optimization [0.0]
適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。
本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
論文 参考訳(メタデータ) (2021-10-16T09:47:57Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Practical Convex Formulation of Robust One-hidden-layer Neural Network
Training [12.71266194474117]
本研究では,一層型スカラーアウトプット完全接続型ReLULUニューラルネットワークのトレーニングを,有限次元凸プログラムとして再構成可能であることを示す。
我々は「敵の訓練」問題を効率的に解くために凸最適化手法を導出する。
本手法は二項分類と回帰に応用でき、現在の対角訓練法に代わる手段を提供する。
論文 参考訳(メタデータ) (2021-05-25T22:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。