論文の概要: Deforming the Loss Surface to Affect the Behaviour of the Optimizer

• arxiv url: http://arxiv.org/abs/2009.08274v1
• Date: Mon, 14 Sep 2020 06:43:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 11:24:51.966971
• Title: Deforming the Loss Surface to Affect the Behaviour of the Optimizer
• Title（参考訳）: 最適化器の挙動に影響を与える損失面の変形
• Authors: Liangming Chen, Long Jin, Xiujuan Du, Shuai Li, Mei Liu
• Abstract要約: ディープラーニングでは、通常、形状固定された損失面上で最適化プロセスが実行されると仮定される。 本稿では,変形マッピングの新たな概念を提案する。 垂直変形マッピング(VDM)は、勾配勾配勾配が平坦な領域に入る際に、鋭いミニマをフィルタリングする能力を与える。 我々は、VDMによって強化された一般的な畳み込みニューラルネットワークと、ImageNet、CIFAR-10、CIFAR-100の対応するオリジナルニューラルネットワークを比較した。
• 参考スコア（独自算出の注目度）: 13.073915827194853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In deep learning, it is usually assumed that the optimization process is conducted on a shape-fixed loss surface. Differently, we first propose a novel concept of deformation mapping in this paper to affect the behaviour of the optimizer. Vertical deformation mapping (VDM), as a type of deformation mapping, can make the optimizer enter a flat region, which often implies better generalization performance. Moreover, we design various VDMs, and further provide their contributions to the loss surface. After defining the local M region, theoretical analyses show that deforming the loss surface can enhance the gradient descent optimizer's ability to filter out sharp minima. With visualizations of loss landscapes, we evaluate the flatnesses of minima obtained by both the original optimizer and optimizers enhanced by VDMs on CIFAR-100. The experimental results show that VDMs do find flatter regions. Moreover, we compare popular convolutional neural networks enhanced by VDMs with the corresponding original ones on ImageNet, CIFAR-10, and CIFAR-100. The results are surprising: there are significant improvements on all of the involved models equipped with VDMs. For example, the top-1 test accuracy of ResNet-20 on CIFAR-100 increases by 1.46%, with insignificant additional computational overhead.
• Abstract（参考訳）: 深層学習では、通常、最適化処理は形状固定損失面上で行われると仮定される。 そこで,本論文では,まず変形マッピングの新しい概念を提案し,オプティマイザの挙動に影響を及ぼす。 垂直変形写像(VDM)は変形写像の一種であり、最適化器が平坦な領域に入るようにすることができる。 さらに,様々なvdmの設計を行い,損失面への貢献度も提供する。 局所m領域を定義した後、理論的解析により損失面の変形は勾配降下オプティマイザの鋭い極小をフィルターアウトする能力を高めることが示されている。 ロスランドスケープの可視化により,CIFAR-100上のVDMにより拡張されたオリジナルの最適化器と最適化器の両方で得られるミニマの平坦度を評価する。 実験の結果,VDMは平坦な領域を見いだせることがわかった。 さらに、VDMによって強化された一般的な畳み込みニューラルネットワークと、ImageNet、CIFAR-10、CIFAR-100の対応するオリジナルニューラルネットワークを比較した。 VDMを搭載したすべてのモデルに大幅な改善が加えられている。 例えば、CIFAR-100上のResNet-20のトップ-1テスト精度は1.46%向上し、計算オーバーヘッドは著しく増加した。

関連論文リスト

• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Adaptive Learning for Multi-view Stereo Reconstruction [6.635583283522551]
  まず,深度に基づくMVS手法において,既存の損失関数の特性を解析する。 そこで我々は,真と予測される深さの確率分布の違いを狭めることができる適応ワッサースタイン損失という新しい損失関数を提案する。 DTU, Tanks and Temples, BlendedMVS などの異なるベンチマーク実験により,適応的なワッサーシュタイン損失とオフセットモジュールを用いた提案手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-08T04:13:35Z)
• Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization [14.23697277904244]
  Reweighted Gradient Descent (RGD) は、動的サンプル再重み付けによりディープニューラルネットワークの性能を向上させる新しい最適化手法である。 本稿では,教師付き学習,メタラーニング,ドメイン外一般化など,様々な学習課題におけるRGDの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-15T15:58:04Z)
• GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer [76.2625311630021]
  視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。 この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。 グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
  論文  参考訳（メタデータ） (2023-01-13T00:40:24Z)
• Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning Optimization Landscape [15.362190838843915]
  LPF-SGD は SGD よりも小さい一般化誤差でより良い最適点に収束することを示す。 本稿では,一般的なDLトレーニング手法と比較して,アルゴリズムが優れた一般化性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-01-20T07:13:04Z)
• FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
  本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。 我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。 従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
  論文  参考訳（メタデータ） (2021-07-07T13:39:08Z)
• When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations [111.44860506703307]
  Vision Transformer (ViTs) と既存のVisionNetsは、ハンドワイヤ機能やインダクティブスループットを汎用神経アーキテクチャに置き換えようとしている。 本稿では、損失幾何学のレンズからViTとRes-Mixersを解析し、トレーニングおよび推論時のモデルのデータ効率を改善することを目的とする。 最初の数層では、スペーサー活動ニューロンの頑健性が改善していることが示されている。 その結果、ViTsは、大規模な事前トレーニングや強力なデータ拡張なしに、ImageNet上でスクラッチからトレーニングした時に、同様のサイズと滑らかさのネットより優れています。
  論文  参考訳（メタデータ） (2021-06-03T02:08:03Z)
• Multiplicative Reweighting for Robust Neural Network Optimization [51.67267839555836]
  MW(multiplicative weight)更新は、専門家のアドバイスにより、適度なデータ破損に対して堅牢である。 MWはラベルノイズの存在下でニューラルネットワークの精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:40:25Z)
• Deforming the Loss Surface [12.18620042986296]
  本論文では、損失面を変形させ、最適化を改善するために、変形演算子という新しい概念を最初に提案する。 各種変形関数を設計し、損失面への寄与をさらに与える。 CIFAR-100で検証された変形関数を利用して,変形関数によって得られた臨界点付近の損失景観の可視化を行う。
  論文  参考訳（メタデータ） (2020-07-24T13:17:46Z)
• Perceptually Optimizing Deep Image Compression [53.705543593594285]
  平均二乗誤差(MSE)と$ell_p$ノルムは、ニューラルネットワークの損失の測定で大きく支配されている。 本稿では,定量的知覚モデルに対して,画像解析ネットワークを最適化するための異なるプロキシ手法を提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。