Fugu-MT 論文翻訳(概要): Stochastic Gradient Descent Works Really Well for Stress Minimization

論文の概要: Stochastic Gradient Descent Works Really Well for Stress Minimization

arxiv url: http://arxiv.org/abs/2008.10376v1
Date: Mon, 24 Aug 2020 12:37:00 GMT
ステータス: 処理完了
システム内更新日: 2022-10-25 12:35:57.980546
Title: Stochastic Gradient Descent Works Really Well for Stress Minimization
Title（参考訳）: 応力最小化のための確率勾配発振加工
Authors: Katharina B\"orsig, Ulrik Brandes and Barna Pasztor
Abstract要約: 勾配降下に基づく新しいアプローチ(Zheng, Pawar, Goodman)は、偏化に基づく最先端のアプローチを改善すると主張されている。我々は、新しいアプローチが実際により良いレイアウトをもたらすわけではないという実験的な証拠を提示するが、それでも好まれる。
参考スコア（独自算出の注目度）: 0.4424170214926035
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Stress minimization is among the best studied force-directed graph layout methods because it reliably yields high-quality layouts. It thus comes as a surprise that a novel approach based on stochastic gradient descent (Zheng, Pawar and Goodman, TVCG 2019) is claimed to improve on state-of-the-art approaches based on majorization. We present experimental evidence that the new approach does not actually yield better layouts, but that it is still to be preferred because it is simpler and robust against poor initialization.
Abstract（参考訳）: 応力最小化は、高い品質のグラフレイアウトを確実に得られるため、最もよく研究されている。したがって、確率勾配勾配に基づく新しいアプローチ(Zheng, Pawar and Goodman, TVCG 2019)が、偏化に基づく最先端のアプローチを改善すると主張しているのは驚きである。実験により,新しい手法ではレイアウトの精度が向上しないが,初期化の低さに対してシンプルで堅牢であるため,それでも望ましいことが示唆された。

関連論文リスト

Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
High Probability Analysis for Non-Convex Stochastic Optimization with Clipping [13.025261730510847]
勾配クリッピングは重み付きニューラルネットワークを扱う技術である。ほとんどの理論上の保証は、予測外解析のみを提供し、性能のみを提供する。我々の分析は、勾配クリッピングによる最適化アルゴリズムの理論的保証について、比較的完全な図を提供している。
論文参考訳（メタデータ） (2023-07-25T17:36:56Z)
Fast and Correct Gradient-Based Optimisation for Probabilistic Programming via Smoothing [0.0]
本稿では,後部推論を最適化問題とする変分推論の基礎について検討する。私たちは、測定可能とスムーズな(近似的な)値セマンティクスの両方を言語に与えました。提案手法は鍵となる競合相手と同様の収束性を持つが,よりシンプルで,高速で,作業正規化分散の桁違いの低減が達成できることを示す。
論文参考訳（メタデータ） (2023-01-09T15:12:45Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
MBGDT:Robust Mini-Batch Gradient Descent [4.141960931064351]
本研究では,ベイズ回帰や勾配降下といった基礎学習者による新たな手法を導入し,モデルの脆弱性を解消する。ミニバッチ勾配降下はより堅牢な収束を可能にするため、ミニバッチ勾配降下法(Mini-Batch Gradient Descent with Trimming (MBGDT))を提案する。提案手法は,提案手法を設計データセットに適用した場合に,最先端性能を示し,複数のベースラインよりも堅牢性が高い。
論文参考訳（メタデータ） (2022-06-14T19:52:23Z)
Learning Graph Regularisation for Guided Super-Resolution [77.7568596501908]
誘導超解像のための新しい定式化を導入する。そのコアは、学習親和性グラフ上で動作する微分可能な最適化層である。提案手法をいくつかのデータセット上で広範囲に評価し, 定量的な再構成誤差の点から最近のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2022-03-27T13:12:18Z)
Penalizing Gradient Norm for Efficiently Improving Generalization in Deep Learning [13.937644559223548]
ディープニューラルネットワーク(DNN)をうまく一般化するためのトレーニング方法が、ディープラーニングの中心的な関心事である。最適化時の損失関数の勾配ノルムをペナルティ化することにより,モデル一般化を効果的に向上する手法を提案する。
論文参考訳（メタデータ） (2022-02-08T02:03:45Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。この場合、最先端の結果を上回る新たな複雑さが証明される。本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文参考訳（メタデータ） (2020-05-21T17:05:27Z)
A Graduated Filter Method for Large Scale Robust Estimation [32.08441889054456]
そこで我々は,ローカル・ミニマから逃れる強力な能力を有する,ロバストな推定のための新しい解法を提案する。我々のアルゴリズムは、多くのローカルなミニマが不足している問題を解くために、最先端の手法に基づいて構築されている。
論文参考訳（メタデータ） (2020-03-20T02:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。