論文の概要: Accelerating Continuous Variable Coherent Ising Machines via Momentum

• arxiv url: http://arxiv.org/abs/2401.12135v1
• Date: Mon, 22 Jan 2024 17:18:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 12:58:35.476782
• Title: Accelerating Continuous Variable Coherent Ising Machines via Momentum
• Title（参考訳）: モーメントによる連続可変コヒーレントイジングマシンの高速化
• Authors: Robin Brown, Davide Venturelli, Marco Pavone, and David E. Bernal Neira
• Abstract要約: 本稿では,運動量やアダムといったよりチューニング可能な最適化手法を用いてCV-CIMのダイナミクスを改良することを提案する。 我々は、Adam-CV-CIMの運動量とサンプルのAdam-CV-CIMの性能がチューナブルフレームワークとしてより安定であることが示している。
• 参考スコア（独自算出の注目度）: 16.545815849819043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Coherent Ising Machine (CIM) is a non-conventional architecture that takes inspiration from physical annealing processes to solve Ising problems heuristically. Its dynamics are naturally continuous and described by a set of ordinary differential equations that have been proven to be useful for the optimization of continuous variables non-convex quadratic optimization problems. The dynamics of such Continuous Variable CIMs (CV-CIM) encourage optimization via optical pulses whose amplitudes are determined by the negative gradient of the objective; however, standard gradient descent is known to be trapped by local minima and hampered by poor problem conditioning. In this work, we propose to modify the CV-CIM dynamics using more sophisticated pulse injections based on tried-and-true optimization techniques such as momentum and Adam. Through numerical experiments, we show that the momentum and Adam updates can significantly speed up the CV-CIM's convergence and improve sample diversity over the original CV-CIM dynamics. We also find that the Adam-CV-CIM's performance is more stable as a function of feedback strength, especially on poorly conditioned instances, resulting in an algorithm that is more robust, reliable, and easily tunable. More broadly, we identify the CIM dynamical framework as a fertile opportunity for exploring the intersection of classical optimization and modern analog computing.
• Abstract（参考訳）: コヒーレントイジングマシン(Coherent Ising Machine, CIM)は、物理的アニールプロセスからインスピレーションを得て、イジング問題をヒューリスティックに解く非伝統的なアーキテクチャである。 その力学は自然に連続であり、連続変数の非凸二次最適化問題の最適化に有用であることが証明された常微分方程式の集合によって記述される。 このような連続可変CIM(CV-CIM)のダイナミクスは、目標の負の勾配によって振幅が決定される光パルスによる最適化を促進するが、標準勾配降下は局所的なミニマに閉じ込められ、問題条件の悪化によって妨げられることが知られている。 本研究では,momentum や adam などの真の最適化手法に基づいて,より洗練されたパルスインジェクションを用いたcv-cimダイナミクスの修正を提案する。 数値実験により, CV-CIMの運動量とAdam更新により, CV-CIMの収束が著しく加速し, 元のCV-CIMダイナミクスよりも試料の多様性が向上することを示した。 また、Adam-CV-CIMの性能は、特に条件の悪いインスタンスにおいてフィードバック強度の関数としてより安定しており、より堅牢で信頼性があり、調整が容易なアルゴリズムが得られた。 より広範に、CIMの動的フレームワークは古典最適化と現代アナログコンピューティングの交わりを探索する肥大な機会であると見なしている。

関連論文リスト

• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
  ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。 様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-07T09:02:18Z)
• Learning Sparse Nonlinear Dynamics via Mixed-Integer Optimization [3.7565501074323224]
  分散整数最適化 (MIO) を用いたSINDyDy問題の厳密な定式化を提案し, 分散制約付き回帰問題を数秒で証明可能な最適性を求める。 正確なモデル発見における我々のアプローチの劇的な改善について説明するとともに、よりサンプリング効率が高く、ノイズに耐性があり、物理的制約の緩和にも柔軟である。
  論文  参考訳（メタデータ） (2022-06-01T01:43:45Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Value Iteration in Continuous Actions, States and Time [99.00362538261972]
  連続状態と動作に対する連続的適合値反復(cFVI)アルゴリズムを提案する。 非線形制御アフィンダイナミクスに対して最適なポリシを導出することができる。 物理システムのビデオは、urlhttps://sites.google.com/view/value-iteration.comで入手できる。
  論文  参考訳（メタデータ） (2021-05-10T21:40:56Z)
• EBMs Trained with Maximum Likelihood are Generator Models Trained with a Self-adverserial Loss [6.445605125467574]
  Langevin ダイナミクスを関連する勾配降下 ODE の決定論的解に置き換えます。 本研究は, 動的騒音の再導入は, 動作の質的変化に繋がらないことを示す。 そこで, EBMトレーニングは, 最大確率推定よりも, 事実上自己反逆的処置であることを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:34:12Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Quasi-symplectic Langevin Variational Autoencoder [7.443843354775884]
  変分オートエンコーダ(VAE)は、ニューラルネットワーク研究において非常に人気があり、よく研究されている生成モデルである。 低分散証拠低境界(ELBO)構築の難しさに対処することが求められている。
  論文  参考訳（メタデータ） (2020-09-02T12:13:27Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。