論文の概要: Tensor Network Estimation of Distribution Algorithms

• arxiv url: http://arxiv.org/abs/2412.19780v1
• Date: Fri, 27 Dec 2024 18:22:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:11.572091
• Title: Tensor Network Estimation of Distribution Algorithms
• Title（参考訳）: 分散アルゴリズムのテンソルネットワーク推定
• Authors: John Gardiner, Javier Lopez-Piqueres,
• Abstract要約: 近年の論文では、テンソルネットワークを進化最適化アルゴリズムに統合する手法が登場している。 これらの手法の最適化性能は, 生成モデルのパワーと直接的に関係しないことがわかった。 これを踏まえると、生成モデルの出力に明示的な突然変異演算子を加えることで、最適化性能が向上することがしばしばある。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Tensor networks are a tool first employed in the context of many-body quantum physics that now have a wide range of uses across the computational sciences, from numerical methods to machine learning. Methods integrating tensor networks into evolutionary optimization algorithms have appeared in the recent literature. In essence, these methods can be understood as replacing the traditional crossover operation of a genetic algorithm with a tensor network-based generative model. We investigate these methods from the point of view that they are Estimation of Distribution Algorithms (EDAs). We find that optimization performance of these methods is not related to the power of the generative model in a straightforward way. Generative models that are better (in the sense that they better model the distribution from which their training data is drawn) do not necessarily result in better performance of the optimization algorithm they form a part of. This raises the question of how best to incorporate powerful generative models into optimization routines. In light of this we find that adding an explicit mutation operator to the output of the generative model often improves optimization performance.
• Abstract（参考訳）: テンソルネットワーク(Tensor network)は、多体量子物理学の文脈で最初に使われたツールで、今では数値的な方法から機械学習まで、計算科学で広く使われている。 近年の論文では、テンソルネットワークを進化最適化アルゴリズムに統合する手法が登場している。 本質的に、これらの手法は、遺伝的アルゴリズムの伝統的なクロスオーバー操作をテンソルネットワークベースの生成モデルに置き換えるものとして理解することができる。 本研究では,これらの手法が分布推定アルゴリズム(EDAs)である点から検討する。 これらの手法の最適化性能は, 生成モデルのパワーと直接的に関係しないことがわかった。 より良い生成モデル(トレーニングデータが描画されたときの分散をモデル化するという意味で)は、必ずしも最適化アルゴリズムの性能が向上するとは限らない。 これにより、強力な生成モデルを最適化ルーチンにどのように組み込むのが最適かという疑問が持ち上がる。 これを踏まえると、生成モデルの出力に明示的な突然変異演算子を加えることで、最適化性能が向上することがしばしばある。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
  生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。 本研究ではまず,生成モデルの本質的な特徴について考察する。 本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
  論文  参考訳（メタデータ） (2024-11-01T09:05:47Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Model Uncertainty in Evolutionary Optimization and Bayesian Optimization: A Comparative Analysis [5.6787965501364335]
  ブラックボックス最適化問題は、多くの現実世界のアプリケーションで一般的な問題である。 これらの問題はインプット・アウトプット・インタラクションを通じて内部動作へのアクセスなしに最適化する必要がある。 このような問題に対処するために2つの広く使われている勾配のない最適化手法が用いられている。 本稿では,2つの手法間のモデル不確実性の類似点と相違点を明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-03-21T13:59:19Z)
• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Non-Convex Optimization with Spectral Radius Regularization [17.629499015699704]
  深層ニューラルネットワークやその他の機械学習モデルのトレーニング中に平坦な最小値を求める正規化手法を開発した。 これらのミニマはシャープミニマよりも一般化し、モデルが実際の単語テストデータによりよく一般化できるようにします。
  論文  参考訳（メタデータ） (2021-02-22T17:39:05Z)
• Evolutionary Variational Optimization of Generative Models [0.0]
  分散最適化と進化的アルゴリズムの2つの一般的な最適化アプローチをジェネレーションモデルのための学習アルゴリズムの導出に組み合わせます。 進化的アルゴリズムは変動境界を効果的かつ効率的に最適化できることを示す。 ゼロショット」学習のカテゴリでは、多くのベンチマーク設定で最先端の技術を大幅に改善するために進化的変動アルゴリズムを観察しました。
  論文  参考訳（メタデータ） (2020-12-22T19:06:33Z)
• Optimizing the Parameters of A Physical Exercise Dose-Response Model: An Algorithmic Comparison [1.0152838128195467]
  本研究の目的は,運動生理学の分野で用いられる一般的な非線形線量応答モデルのパラメータを適合させるタスクを与えられたとき,局所的および大域的最適化アルゴリズムの堅牢性と性能を比較することである。 また,1000回以上の実験結果から,局所探索アルゴリズムと比較してモデル適合性とホールドアウト性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-12-16T22:06:35Z)
• Hyperspectral Unmixing Network Inspired by Unfolding an Optimization Problem [2.4016406737205753]
  ハイパースペクトル画像(HSI)アンミックスタスクは本質的に逆問題であり、最適化アルゴリズムによってよく解決される。 本稿では,U-ADMM-AENetとU-ADMM-BUNetという2つの新しいネットワークアーキテクチャを提案する。 本研究は,機械学習の文献において,展開された構造が対応する解釈を見つけることを示し,提案手法の有効性をさらに示すものである。
  論文  参考訳（メタデータ） (2020-05-21T18:49:45Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。