論文の概要: Perceptual Gradient Networks

• arxiv url: http://arxiv.org/abs/2105.01957v1
• Date: Wed, 5 May 2021 09:58:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 12:54:48.297276
• Title: Perceptual Gradient Networks
• Title（参考訳）: 知覚勾配ネットワーク
• Authors: Dmitry Nikulin, Roman Suvorov, Aleksei Ivakhnenko, Victor Lempitsky
• Abstract要約: 本稿では,前向きのパスを使わずに計算される知覚損失の近似を用いて,ジェネレータネットワークを訓練する方法を提案する。 我々は、知覚的損失の勾配場を直接合成する単純な知覚的勾配ネットワークを使用する。
• 参考スコア（独自算出の注目度）: 4.897538221461331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many applications of deep learning for image generation use perceptual losses for either training or fine-tuning of the generator networks. The use of perceptual loss however incurs repeated forward-backward passes in a large image classification network as well as a considerable memory overhead required to store the activations of this network. It is therefore desirable or sometimes even critical to get rid of these overheads. In this work, we propose a way to train generator networks using approximations of perceptual loss that are computed without forward-backward passes. Instead, we use a simpler perceptual gradient network that directly synthesizes the gradient field of a perceptual loss. We introduce the concept of proxy targets, which stabilize the predicted gradient, meaning that learning with it does not lead to divergence or oscillations. In addition, our method allows interpretation of the predicted gradient, providing insight into the internals of perceptual loss and suggesting potential ways to improve it in future work.
• Abstract（参考訳）: 画像生成のためのディープラーニングの多くの応用は、ジェネレータネットワークのトレーニングまたは微調整に知覚損失を使用する。 しかし知覚的損失の使用は、大きな画像分類ネットワークで前方に何度もパスするだけでなく、このネットワークのアクティベーションを保存するのに必要なかなりのメモリオーバーヘッドを引き起こす。 したがって、このようなオーバーヘッドを取り除くことは望ましいし、時には必要です。 本研究では,前向きのパスなしで計算される知覚損失の近似を用いて,ジェネレータネットワークを訓練する方法を提案する。 代わりに、知覚的損失の勾配場を直接合成する単純な知覚的勾配ネットワークを用いる。 予測勾配を安定化するプロキシターゲットの概念を導入することにより,学習が発散や振動を生じないことを示す。 さらに,本手法では,予測勾配の解釈が可能であり,知覚的損失の内在性を把握し,今後の作業で改善する可能性も示唆している。

関連論文リスト

• Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks [15.691263438655842]
  Spiking Neural Network(SNN)は生物学的にインスパイアされたニューラルネットワーク基盤であり、最近大きな注目を集めている。 SNNの訓練は、発射スパイクプロセスの未定義の勾配のため、直接的に挑戦する。 本論文では,損失から浅い層に直接勾配を伝達する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-09T10:54:41Z)
• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• Can Forward Gradient Match Backpropagation? [2.875726839945885]
  フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。 我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。 局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2023-06-12T08:53:41Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Low-memory stochastic backpropagation with multi-channel randomized trace estimation [6.985273194899884]
  ニューラルネットワークにおける畳み込み層の勾配を多チャンネルランダム化トレース推定手法を用いて近似する。 他の手法と比較して、このアプローチは単純で分析に適しており、メモリフットプリントを大幅に削減する。 本稿では、バックプロパゲーションでトレーニングしたネットワークの性能と、メモリ使用量の最大化と計算オーバーヘッドの最小化を図りながら、エラーを制御する方法について論じる。
  論文  参考訳（メタデータ） (2021-06-13T13:54:02Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Deep Networks from the Principle of Rate Reduction [32.87280757001462]
  この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。 学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。 この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
  論文  参考訳（メタデータ） (2020-10-27T06:01:43Z)
• Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
  そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。 提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
  論文  参考訳（メタデータ） (2020-10-21T02:13:26Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)
• Regularizing Semi-supervised Graph Convolutional Networks with a Manifold Smoothness Loss [12.948899990826426]
  グラフ構造に関して定義された教師なし多様体の滑らかさ損失を提案し、これは正規化として損失関数に追加することができる。 我々は,多層パーセプトロンおよび既存のグラフネットワークの実験を行い,提案した損失を追加することにより,連続的に性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-02-11T08:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。