論文の概要: Improving Gradient Methods via Coordinate Transformations: Applications
to Quantum Machine Learning
- arxiv url: http://arxiv.org/abs/2304.06768v1
- Date: Thu, 13 Apr 2023 18:26:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 15:41:16.492117
- Title: Improving Gradient Methods via Coordinate Transformations: Applications
to Quantum Machine Learning
- Title（参考訳）: 座標変換による勾配法の改善:量子機械学習への応用
- Authors: Pablo Bermejo, Borja Aizpurua, Roman Orus
- Abstract要約: 機械学習アルゴリズムは勾配降下などの勾配に基づく最適化アルゴリズムに大きく依存している。
全体的な性能は、局所的なミニマと不毛の高原の出現に依存する。
本稿では,これらの手法の全般的な性能向上を図り,バレンプラトー効果と局所ミニマ効果を緩和する汎用戦略を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning algorithms, both in their classical and quantum versions,
heavily rely on optimization algorithms based on gradients, such as gradient
descent and alike. The overall performance is dependent on the appearance of
local minima and barren plateaus, which slow-down calculations and lead to
non-optimal solutions. In practice, this results in dramatic computational and
energy costs for AI applications. In this paper we introduce a generic strategy
to accelerate and improve the overall performance of such methods, allowing to
alleviate the effect of barren plateaus and local minima. Our method is based
on coordinate transformations, somehow similar to variational rotations, adding
extra directions in parameter space that depend on the cost function itself,
and which allow to explore the configuration landscape more efficiently. The
validity of our method is benchmarked by boosting a number of quantum machine
learning algorithms, getting a very significant improvement in their
performance.
- Abstract（参考訳）: 機械学習アルゴリズムは、古典バージョンと量子バージョンの両方において、勾配降下などの勾配に基づく最適化アルゴリズムに大きく依存している。
全体的なパフォーマンスは、局所的なミニマ台地と不毛高原の出現に依存するため、計算が遅く、非最適解に繋がる。
実際には、これはAIアプリケーションに対する劇的な計算とエネルギーコストをもたらす。
本稿では,このような手法の全体的な性能を加速・向上させる汎用的な戦略を提案し,不毛高原と局所ミニマの効果を緩和する。
提案手法は,変動回転に類似した座標変換を基本とし,コスト関数自体に依存するパラメータ空間に余分な方向を付加することで,構成景観をより効率的に探索できる。
提案手法の有効性は,多数の量子機械学習アルゴリズムの高速化によって評価され,性能が大幅に向上した。
関連論文リスト
- Information Geometry and Beta Link for Optimizing Sparse Variational Student-t Processes [6.37512592611305]
勾配勾配勾配を用いた実世界のデータセットの計算効率と柔軟性を向上させるために,学生Tプロセスが提案されている。
アダムのような伝統的な勾配降下法はパラメータ空間の幾何を十分に活用しない可能性があり、収束と準最適性能を遅くする可能性がある。
我々は,情報幾何学から自然勾配法を適用し,学生-tプロセスの変分パラメータ最適化を行う。
論文 参考訳（メタデータ） (2024-08-13T07:53:39Z) - Qudit inspired optimization for graph coloring [0.0]
グラフ色問題(GCP)のための量子インスパイアされたアルゴリズムを提案する。
我々は、グラフ内のノードを表現し、d次元球面座標でパラメータ化した各キューディットを積状態に使用する。
我々は、QdGD(qudit gradient descent)、ランダムな状態におけるクォーディットの開始、コスト関数の最小化のために勾配降下を利用する2つの最適化戦略をベンチマークする。
論文 参考訳（メタデータ） (2024-06-02T16:19:55Z) - Gradient-free neural topology optimization [0.0]
勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。
これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。
我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
論文 参考訳（メタデータ） (2024-03-07T23:00:49Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - Recommender System Expedited Quantum Control Optimization [0.0]
量子制御最適化アルゴリズムは、最適な量子ゲートや効率的な量子状態転送を生成するために日常的に使用される。
効率的な最適化アルゴリズムの設計には2つの大きな課題がある。
本稿では,後者の課題に対処するため,機械学習手法,特にレコメンダシステム(RS)を提案する。
論文 参考訳（メタデータ） (2022-01-29T10:25:41Z) - Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
本稿では, 音素の効率的な微分可能シミュレーション法を提案する。
これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。
提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
論文 参考訳（メタデータ） (2021-09-16T04:48:13Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - Channel-Directed Gradients for Optimization of Convolutional Neural
Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。
出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文 参考訳（メタデータ） (2020-08-25T00:44:09Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳（メタデータ） (2020-07-07T10:05:01Z) - A Primer on Zeroth-Order Optimization in Signal Processing and Machine
Learning [95.85269649177336]
ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。
我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
論文 参考訳（メタデータ） (2020-06-11T06:50:35Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳（メタデータ） (2020-01-27T08:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。