論文の概要: Reparameterizing Mirror Descent as Gradient Descent

• arxiv url: http://arxiv.org/abs/2002.10487v2
• Date: Mon, 22 Jun 2020 22:38:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 03:20:11.466729
• Title: Reparameterizing Mirror Descent as Gradient Descent
• Title（参考訳）: 勾配降下としての再パラメータ化ミラー降下
• Authors: Ehsan Amid and Manfred K. Warmuth
• Abstract要約: 一部の小さなネットワークでは、ターゲットがスパースである場合、ミラー降下更新はより効果的に学習される。 パラメータセットの勾配降下更新としてミラー降下更新を行うための一般的なフレームワークを提案する。 離散バージョンが連続したバージョンを密に追跡する一般的な基準を見つけることは、いまだに興味深いオープンな問題である。
• 参考スコア（独自算出の注目度）: 22.983487312702486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most of the recent successful applications of neural networks have been based on training with gradient descent updates. However, for some small networks, other mirror descent updates learn provably more efficiently when the target is sparse. We present a general framework for casting a mirror descent update as a gradient descent update on a different set of parameters. In some cases, the mirror descent reparameterization can be described as training a modified network with standard backpropagation. The reparameterization framework is versatile and covers a wide range of mirror descent updates, even cases where the domain is constrained. Our construction for the reparameterization argument is done for the continuous versions of the updates. Finding general criteria for the discrete versions to closely track their continuous counterparts remains an interesting open problem.
• Abstract（参考訳）: 最近のニューラルネットワークの応用の大部分は、勾配降下更新によるトレーニングに基づいている。 しかし、いくつかの小さなネットワークでは、他のミラー降下更新はターゲットがスパースしている時により効率的に学習する。 本稿では,異なるパラメータ群に対する勾配降下更新としてミラー降下更新をキャスティングする汎用フレームワークを提案する。 ミラー降下再パラメータ化は、標準的なバックプロパゲーションを持つ修正ネットワークのトレーニングとして記述できる場合もある。 reparameterization frameworkは多用途で、ドメインが制約されている場合であっても、さまざまなミラー降下アップデートをカバーする。 reparameterization引数の構築は、更新の継続的なバージョンに対して行われます。 離散バージョンが連続するバージョンを密接に追跡する一般的な基準を見つけることは、興味深いオープン問題である。

関連論文リスト

• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• Automatic Gradient Descent: Deep Learning without Hyperparameters [35.350274248478804]
  ディープニューラルネットワークのアーキテクチャは、レイヤ数、各レイヤの幅、一般的なネットワークトポロジの観点から明確に定義される。 グラデーション・アイデアは、神経アーキテクチャの非勾配構造を考慮するために、ブレグマンの発散を変換することである。
  論文  参考訳（メタデータ） (2023-04-11T12:45:52Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Update Compression for Deep Neural Networks on the Edge [33.57905298104467]
  エッジデバイス上でのディープニューラルネットワーク(DNN)の実行を含むAIアプリケーションの増加。 多くの実用的な理由は、デプロイ後のエッジデバイスでDNNモデルを更新する必要性を動機付けている。 モデル更新を圧縮するための行列分解に基づく簡単なアプローチを開発する。
  論文  参考訳（メタデータ） (2022-03-09T04:20:43Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Training Neural Networks with Fixed Sparse Masks [19.58969772430058]
  最近の研究では、トレーニング中にモデルのパラメータの小さなサブセットだけを更新できることが示されている。 モデルのパラメータに固定されたスパースマスクを誘導し、サブセットを選択して複数のイテレーションで更新できることが示される。
  論文  参考訳（メタデータ） (2021-11-18T18:06:01Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• t-Soft Update of Target Network for Deep Reinforcement Learning [8.071506311915396]
  本稿では,深部強化学習(DRL)のためのターゲットネットワークの頑健な更新ルールを提案する。 指数移動平均と正規分布の類似性からt-soft更新法を導出した。 DRLのPyBulletロボットシミュレーションでは、t-soft更新によるオンラインアクター批判アルゴリズムが、得られたリターンおよび/またはそのばらつきの点で従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-25T07:41:47Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。