論文の概要: Stochastic Flows and Geometric Optimization on the Orthogonal Group

• arxiv url: http://arxiv.org/abs/2003.13563v1
• Date: Mon, 30 Mar 2020 15:37:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 06:50:39.948269
• Title: Stochastic Flows and Geometric Optimization on the Orthogonal Group
• Title（参考訳）: 直交群上の確率流と幾何学的最適化
• Authors: Krzysztof Choromanski, David Cheikhi, Jared Davis, Valerii Likhosherstov, Achille Nazaret, Achraf Bahamou, Xingyou Song, Mrugank Akarte, Jack Parker-Holder, Jacob Bergquist, Yuan Gao, Aldo Pacchiano, Tamas Sarlos, Adrian Weller, Vikas Sindhwani
• Abstract要約: 直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 52.50121190744979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new class of stochastic, geometrically-driven optimization algorithms on the orthogonal group $O(d)$ and naturally reductive homogeneous manifolds obtained from the action of the rotation group $SO(d)$. We theoretically and experimentally demonstrate that our methods can be applied in various fields of machine learning including deep, convolutional and recurrent neural networks, reinforcement learning, normalizing flows and metric learning. We show an intriguing connection between efficient stochastic optimization on the orthogonal group and graph theory (e.g. matching problem, partition functions over graphs, graph-coloring). We leverage the theory of Lie groups and provide theoretical results for the designed class of algorithms. We demonstrate broad applicability of our methods by showing strong performance on the seemingly unrelated tasks of learning world models to obtain stable policies for the most difficult $\mathrm{Humanoid}$ agent from $\mathrm{OpenAI}$ $\mathrm{Gym}$ and improving convolutional neural networks.
• Abstract（参考訳）: 本稿では、回転群 $so(d)$ の作用から得られる直交群 $o(d)$ と自然帰納的同次多様体上の確率的、幾何学的駆動による新しい最適化アルゴリズムを提案する。 理論的および実験的に,本手法が深層・畳み込み・繰り返しニューラルネットワーク,強化学習,正規化フロー,計量学習など,機械学習のさまざまな分野に適用可能であることを実証する。 直交群上の効率的な確率最適化とグラフ理論(例えば、マッチング問題、グラフ上の分割関数、グラフ色付け)の間の興味深い関係を示す。 我々は、リー群の理論を活用し、設計したアルゴリズムのクラスに対して理論的結果を提供する。 我々は、最も難しい$\mathrm{Humanoid}$ agent from $\mathrm{OpenAI}$ $\mathrm{Gym}$と畳み込みニューラルネットワークの改善のために、学習の世界モデルの一見無関係なタスクに強いパフォーマンスを示すことで、我々の手法の適用性を示した。

関連論文リスト

• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• An iterative clustering algorithm for the Contextual Stochastic Block Model with optimality guarantees [4.007017852999008]
  本稿では,ノードの側情報を持つクラスタネットワークに対して,新たな反復アルゴリズムを提案する。 このアルゴリズムは文脈対称性ブロックモデルの下で最適であることを示す。
  論文  参考訳（メタデータ） (2021-12-20T12:04:07Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• Polygonal Unadjusted Langevin Algorithms: Creating stable and efficient adaptive algorithms for neural networks [0.0]
  本稿では,Langevinベースのアルゴリズムを新たに導入し,一般的な適応的消滅アルゴリズムの欠点の多くを克服する。 特に、この新しいクラスのアルゴリズムの収束性についての漸近解析と完全な理論的保証を提供し、TH$varepsilon$O POULA(あるいは単にTheoPouLa)と名付けた。
  論文  参考訳（メタデータ） (2021-05-28T15:58:48Z)
• A Novel Surrogate-assisted Evolutionary Algorithm Applied to Partition-based Ensemble Learning [0.0]
  高価な最適化問題を解決するための新しいサロゲート支援アルゴリズムを提案する。 我々は,適応値推定に用いるサロゲートモデルと,進化的遺伝子-進化的最適混合アルゴリズムの最先端p3様変種を統合する。 提案したアルゴリズムをアンサンブル学習問題で検証する。
  論文  参考訳（メタデータ） (2021-04-16T11:51:18Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。