論文の概要: Deep Learning Optimization Using Self-Adaptive Weighted Auxiliary Variables

• arxiv url: http://arxiv.org/abs/2504.21501v1
• Date: Wed, 30 Apr 2025 10:43:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 19:15:04.249939
• Title: Deep Learning Optimization Using Self-Adaptive Weighted Auxiliary Variables
• Title（参考訳）: 自己適応重み付き補助変数を用いたディープラーニング最適化
• Authors: Yaru Liu, Yiqi Gu, Michael K. Ng,
• Abstract要約: 本稿では,ニューラルネットワークや物理インフォームドネットワークによる学習のための新しいフレームワークを開発する。 私たちのフレームワークの堅牢性は、新しい損失が元の問題を最適化するのに役立ちます。
• 参考スコア（独自算出の注目度）: 20.09691024284159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we develop a new optimization framework for the least squares learning problem via fully connected neural networks or physics-informed neural networks. The gradient descent sometimes behaves inefficiently in deep learning because of the high non-convexity of loss functions and the vanishing gradient issue. Our idea is to introduce auxiliary variables to separate the layers of the deep neural networks and reformulate the loss functions for ease of optimization. We design the self-adaptive weights to preserve the consistency between the reformulated loss and the original mean squared loss, which guarantees that optimizing the new loss helps optimize the original problem. Numerical experiments are presented to verify the consistency and show the effectiveness and robustness of our models over gradient descent.
• Abstract（参考訳）: 本稿では,完全連結ニューラルネットワークや物理インフォームドニューラルネットワークを用いて,最小二乗学習問題に対する新しい最適化フレームワークを開発する。 勾配降下は、損失関数の非凸性の高さと消滅する勾配問題のために、ディープラーニングにおいて非効率に振る舞うことがある。 我々の考えは、ディープニューラルネットワークの層を分離し、最適化を容易にするために損失関数を再構成する補助変数を導入することである。 我々は、修正された損失と元の平均2乗損失との整合性を維持するために自己適応重みを設計し、新しい損失の最適化が元の問題を最適化するのに役立つことを保証した。 数値実験により,勾配降下に対するモデルの有効性とロバスト性を検証した。

関連論文リスト

• Architect Your Landscape Approach (AYLA) for Optimizations in Deep Learning [0.0]
  グラディエントDescent(DSG)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。 本稿では適応性と効率性を向上する新しい最適化手法であるAYLAを紹介する。
  論文  参考訳（メタデータ） (2025-04-02T16:31:39Z)
• Self-Supervised Penalty-Based Learning for Robust Constrained Optimization [4.297070083645049]
  本稿では,自己教師付きペナルティに基づく損失関数を用いた学習に基づいて,パラメータ化制約付きロバスト最適化のための新しい手法を提案する。 我々のアプローチは、従来の解法よりも推論時間がかなり小さいニューラルネットワーク近似を効果的に学習することができる。
  論文  参考訳（メタデータ） (2025-03-07T06:42:17Z)
• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Gradient-free neural topology optimization [0.0]
  勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。 これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。 我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:00:49Z)
• Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
  この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。 我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
  論文  参考訳（メタデータ） (2023-12-26T12:19:22Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。