Fugu-MT 論文翻訳(概要): Explicit and Implicit Graduated Optimization in Deep Neural Networks

論文の概要: Explicit and Implicit Graduated Optimization in Deep Neural Networks

arxiv url: http://arxiv.org/abs/2412.11501v1
Date: Mon, 16 Dec 2024 07:23:22 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-17 13:55:55.809901
Title: Explicit and Implicit Graduated Optimization in Deep Neural Networks
Title（参考訳）: ディープニューラルネットワークにおける明示的および暗黙的な逐次最適化
Authors: Naoki Sato, Hideaki Iiduka,
Abstract要約: 本稿では,最適雑音スケジューリングを用いた明示的な累積最適化アルゴリズムの性能を実験的に評価する。さらに、ResNetアーキテクチャを用いた画像分類タスクの実験を通じて、その効果を実証する。
参考スコア（独自算出の注目度）: 0.6906005491572401
License:
Abstract: Graduated optimization is a global optimization technique that is used to minimize a multimodal nonconvex function by smoothing the objective function with noise and gradually refining the solution. This paper experimentally evaluates the performance of the explicit graduated optimization algorithm with an optimal noise scheduling derived from a previous study and discusses its limitations. It uses traditional benchmark functions and empirical loss functions for modern neural network architectures for evaluating. In addition, this paper extends the implicit graduated optimization algorithm, which is based on the fact that stochastic noise in the optimization process of SGD implicitly smooths the objective function, to SGD with momentum, analyzes its convergence, and demonstrates its effectiveness through experiments on image classification tasks with ResNet architectures.
Abstract（参考訳）: 逐次最適化は、目的関数をノイズで滑らかにし、解を徐々に洗練することにより、マルチモーダルな非凸関数を最小化する大域最適化手法である。本稿では,前回の研究から得られた最適雑音スケジューリングを用いて,明示的な累積最適化アルゴリズムの性能を実験的に評価し,その限界について考察する。従来のベンチマーク関数と経験的損失関数を使用して、現代のニューラルネットワークアーキテクチャを評価している。さらに,SGDの最適化過程における確率的ノイズが対象関数を暗黙的に滑らかにし,その収束を解析し,ResNetアーキテクチャを用いた画像分類タスクの実験を通してその効果を実証する,暗黙的な漸進的最適化アルゴリズムを拡張した。

関連論文リスト

Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文参考訳（メタデータ） (2024-06-12T16:58:41Z)
Dynamic Anisotropic Smoothing for Noisy Derivative-Free Optimization [0.0]
雑音のない微分自由最適化のための球平滑化法とガウス平滑化法を拡張した新しいアルゴリズムを提案する。アルゴリズムはスムーズなカーネルの形状を動的に適応させ、局所最適関数の Hessian を近似する。
論文参考訳（メタデータ） (2024-05-02T21:04:20Z)
Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文参考訳（メタデータ） (2024-03-01T14:55:22Z)
Operator SVD with Neural Networks via Nested Low-Rank Approximation [19.562492156734653]
本稿では, トラッピング特異値分解の低ランク近似に基づく新しい最適化フレームワークを提案する。最上位の$L$特異値と特異関数を正しい順序で学習するためのエンフェンシングと呼ばれる新しい手法。本稿では,計算物理学と機械学習のユースケースに対する提案手法の有効性を実証する。
論文参考訳（メタデータ） (2024-02-06T03:06:06Z)
Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文参考訳（メタデータ） (2023-12-28T23:15:18Z)
Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization [0.6906005491572401]
バッチ降下(SGD)におけるノイズは,目的関数の平滑化の効果を示す。 SGDsノイズによるスムース化の程度と、よく研究されたシャープネスの指標との間には、興味深い関係があることが示されている。
論文参考訳（メタデータ） (2023-11-15T07:27:40Z)
Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文参考訳（メタデータ） (2023-01-28T01:50:42Z)
An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文参考訳（メタデータ） (2022-10-27T01:58:10Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。その結果、ニューラルネットワークの収束挙動を利用することができる。このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文参考訳（メタデータ） (2020-10-25T17:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。