論文の概要: Faster Optimization on Sparse Graphs via Neural Reparametrization

• arxiv url: http://arxiv.org/abs/2205.13624v1
• Date: Thu, 26 May 2022 20:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 12:39:45.946156
• Title: Faster Optimization on Sparse Graphs via Neural Reparametrization
• Title（参考訳）: ニューラルリパラメトリゼーションによるスパースグラフの高速最適化
• Authors: Nima Dehmamy, Csaba Both, Jianzhi Long, Rose Yu
• Abstract要約: グラフニューラルネットワークは,10-100倍の係数で最適化を高速化する,効率的な準ニュートン法を実装可能であることを示す。 本稿では, 熱拡散, 同期, 持続的ホモロジーなどの科学的問題に対する本手法の適用について述べる。
• 参考スコア（独自算出の注目度）: 15.275428333269453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In mathematical optimization, second-order Newton's methods generally converge faster than first-order methods, but they require the inverse of the Hessian, hence are computationally expensive. However, we discover that on sparse graphs, graph neural networks (GNN) can implement an efficient Quasi-Newton method that can speed up optimization by a factor of 10-100x. Our method, neural reparametrization, modifies the optimization parameters as the output of a GNN to reshape the optimization landscape. Using a precomputed Hessian as the propagation rule, the GNN can effectively utilize the second-order information, reaching a similar effect as adaptive gradient methods. As our method solves optimization through architecture design, it can be used in conjunction with any optimizers such as Adam and RMSProp. We show the application of our method on scientifically relevant problems including heat diffusion, synchronization and persistent homology.
• Abstract（参考訳）: 数学的最適化では、二階ニュートンの手法は一般に一階法よりも速く収束するが、ヘッセンの逆数を必要とするため計算コストが高い。 しかし、スパースグラフでは、グラフニューラルネットワーク(GNN)が10-100倍の最適化を高速化できる効率的な準ニュートン法を実装できることが判明した。 ニューラル・リパラメトリゼーション(Neural Reparametrization)は最適化パラメータをGNNの出力として修正し、最適化景観を再構築する。 伝播規則として予め計算されたヘッセン法を用いて、gnnは2次情報を効果的に活用し、適応勾配法と同様の効果を得られる。 本手法はアーキテクチャ設計による最適化を実現するため,AdamやRMSPropといった最適化手法と組み合わせて使用することができる。 本手法は, 熱拡散, 同期, 持続的ホモロジーなど, 科学的に関連する問題に適用できることを示す。

関連論文リスト

• Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks [2.0072624123275533]
  一般化されたガウスニュートン(GGN)最適化法は、曲率推定を解法に組み込む。 本研究では、2層ニューラルネットワークを明示的な正規化で最適化するGGN法について検討する。
  論文  参考訳（メタデータ） (2024-04-23T10:02:22Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• How Does Adaptive Optimization Impact Local Neural Network Geometry? [32.32593743852949]
  ニューラルネットワーク最適化の文脈では、この伝統的な視点は不十分である、と我々は主張する。 我々は、アダムのような適応的な手法が、より高速な収束を期待できる領域への軌道に偏っていることを示す。
  論文  参考訳（メタデータ） (2022-11-04T04:05:57Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Learning to Optimize Quasi-Newton Methods [22.504971951262004]
  本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。 他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。 この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:47:14Z)
• Alternately Optimized Graph Neural Networks [33.98939289745346]
  グラフ上の半教師付き学習のための新しい最適化フレームワークを提案する。 提案手法は交互最適化アルゴリズムにより便利に解けるので,効率は大幅に向上する。
  論文  参考訳（メタデータ） (2022-06-08T01:50:08Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。