論文の概要: Geometric Optimisation on Manifolds with Applications to Deep Learning

• arxiv url: http://arxiv.org/abs/2203.04794v1
• Date: Wed, 9 Mar 2022 15:20:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 21:40:46.534147
• Title: Geometric Optimisation on Manifolds with Applications to Deep Learning
• Title（参考訳）: マニフォールドの幾何学的最適化と深層学習への応用
• Authors: Mario Lezcano-Casado
• Abstract要約: これらの強力なツールをすべて使用して、非専門家を支援するために、Pythonライブラリを設計、実装しています。 このライブラリに実装されたアルゴリズムは、ユーザビリティとGPU効率を念頭に設計されている。
• 参考スコア（独自算出の注目度）: 6.85316573653194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We design and implement a Python library to help the non-expert using all these powerful tools in a way that is efficient, extensible, and simple to incorporate into the workflow of the data scientist, practitioner, and applied researcher. The algorithms implemented in this library have been designed with usability and GPU efficiency in mind, and they can be added to any PyTorch model with just one extra line of code. We showcase the effectiveness of these tools on an application of optimisation on manifolds in the setting of time series analysis. In this setting, orthogonal and unitary optimisation is used to constraint and regularise recurrent models and avoid vanishing and exploding gradient problems. The algorithms designed for GeoTorch allow us to achieve state of the art results in the standard tests for this family of models. We use tools from comparison geometry to give bounds on quantities that are of interest in optimisation problems. In particular, we build on the work of (Kaul 1976) to give explicit bounds on the norm of the second derivative of the Riemannian exponential.
• Abstract（参考訳）: 我々は、データサイエンティスト、実践者、応用研究者のワークフローに組み込むのに効率的で拡張性があり、簡単な方法で、これらの強力なツールを使用する非専門家を支援するPythonライブラリを設計し、実装します。 このライブラリで実装されたアルゴリズムは、ユーザビリティとGPU効率を念頭に設計されており、任意のPyTorchモデルに1行のコードで追加することができる。 時系列解析の設定における多様体上の最適化の適用におけるこれらのツールの有効性を示す。 この設定では、直交とユニタリの最適化は、反復モデルの制約と規則化、および勾配の消滅と爆発を避けるために用いられる。 GeoTorchのために設計されたアルゴリズムは、このモデルの標準的なテストにおいて、アート結果の状態を達成できます。 我々は比較幾何学のツールを使って最適化問題に関心のある量に限界を与える。 特に、リーマン指数の第2微分のノルムに明示的な境界を与えるために、(Kaul 1976) の作業の上に構築する。

関連論文リスト

• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• EuclidNets: An Alternative Operation for Efficient Inference of Deep Learning Models [2.715806580963474]
  EuclidNetは、乗算を置き換えるハードウェア上に実装されるように設計された圧縮手法である。 我々は,EuclidNetが行列乗法と整合していることを示し,畳み込み層の場合の類似性の尺度として利用できることを示した。
  論文  参考訳（メタデータ） (2022-12-22T15:35:42Z)
• On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
  ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。 最終的に、より広い範囲、より広い範囲の作業を支援するのです。
  論文  参考訳（メタデータ） (2022-06-22T23:57:40Z)
• Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation [76.85274970052762]
  本論文はアライメント正則化の選択肢の増大を動機としている。 我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。 我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
  論文  参考訳（メタデータ） (2022-06-04T04:29:19Z)
• Learning to Sparsify Travelling Salesman Problem Instances [0.5985204759362747]
  プルーニングマシンラーニングを前処理のステップとして使用し、旅行セールスマンの問題をスパーシャライズするために正確なプログラミングアプローチを行います。 私たちの学習アプローチは、非常に少ないトレーニングデータを必要とし、数学的分析に適応可能です。
  論文  参考訳（メタデータ） (2021-04-19T14:35:14Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Physarum Powered Differentiable Linear Programming Layers and Applications [48.77235931652611]
  一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。 本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
  論文  参考訳（メタデータ） (2020-04-30T01:50:37Z)
• An Advance on Variable Elimination with Applications to Tensor-Based Computation [11.358487655918676]
  本稿では,確率的推論を含む多くのアルゴリズムの基盤となる可変除去の古典的アルゴリズムについて述べる。 結果は機能的依存関係の活用に関連しており、非常に大きなツリー幅を持つモデルで推論と学習を効率的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-21T14:17:44Z)
• PHOTONAI -- A Python API for Rapid Machine Learning Model Development [2.414341608751139]
  PHOTONAIは、機械学習モデル開発の簡素化と高速化を目的とした、ハイレベルなPython APIである。 これは統一フレームワークとして機能し、ユーザーは異なるツールボックスからのアルゴリズムをカスタムのアルゴリズムシーケンスに簡単にアクセスし、組み合わせることができる。
  論文  参考訳（メタデータ） (2020-02-13T10:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。