論文の概要: Parallelized Computation and Backpropagation Under Angle-Parametrized Orthogonal Matrices

• arxiv url: http://arxiv.org/abs/2106.00003v1
• Date: Sun, 30 May 2021 00:47:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:07:03.499772
• Title: Parallelized Computation and Backpropagation Under Angle-Parametrized Orthogonal Matrices
• Title（参考訳）: 角度パラメトリゼーション直交行列による並列計算とバックプロパゲーション
• Authors: Firas Hamze
• Abstract要約: そこで本研究では, 連続した初等回転パラメトリゼーションを可換演算ブロックに再構成する方法を示す。 本稿では、生成モデルに対する関心のパラメトリックな制限について論じ、GPUのプロトタイプ実装による有望な性能結果を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a methodology for parallel acceleration of learning in the presence of matrix orthogonality and unitarity constraints of interest in several branches of machine learning. We show how an apparently sequential elementary rotation parametrization can be restructured into blocks of commutative operations using a well-known tool for coloring the edges of complete graphs, in turn widely applied to schedule round-robin (all-against-all) sports tournaments. The resulting decomposition admits an algorithm to compute a fully-parametrized orthogonal matrix from its rotation parameters in $O(n)$ sequential steps and one to compute the gradient of a training loss with respect to its parameters in $O(n\log n)$ steps. We discuss parametric restrictions of interest to generative modeling and present promising performance results with a prototype GPU implementation.
• Abstract（参考訳）: 本稿では,機械学習のいくつかの分野において,行列直交と一元性制約の存在下での学習の並列高速化手法を提案する。 完全グラフのエッジをカラー化するためのよく知られたツールを用いて, 連続した初等回転パラメトリゼーションを可換操作ブロックに再構成し, ラウンドロビン(全アゲインスト)スポーツトーナメントのスケジュールに広く適用可能であることを示す。 結果として得られる分解は、その回転パラメータから完全パラメータ化された直交行列を$o(n)$シーケンシャルステップで計算し、そのパラメータに対するトレーニング損失の勾配を$o(n\log n)$ステップで計算するアルゴリズムを許す。 本稿では、生成モデルに対する関心のパラメトリックな制限について論じ、GPUのプロトタイプ実装による有望な性能結果を示す。

関連論文リスト

• Learning Unorthogonalized Matrices for Rotation Estimation [83.94986875750455]
  3次元の回転を推定することは、3次元コンピュータビジョンの一般的な手順である。 回転行列という表現の1つの形式は、その連続性のために人気がある。 非直交擬似擬似回転行列(PRoM)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T09:56:29Z)
• Givens Coordinate Descent Methods for Rotation Matrix Learning in Trainable Embedding Indexes [19.716527782586788]
  回転行列を学習するためのブロックアジェンダ座標降下アルゴリズムのファミリーを提案する。 最先端のSVD法と比較して、Givensアルゴリズムははるかに並列化可能である。
  論文  参考訳（メタデータ） (2022-03-09T22:58:56Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Random Matrix Based Extended Target Tracking with Orientation: A New Model and Inference [0.0]
  本稿では,動的物体の範囲を時間方向の楕円体として表現できる新しい対象追跡アルゴリズムを提案する。 対角正半定行列は、ランダム行列フレームワーク内のオブジェクトの範囲をモデル化するために定義される。 共役性がないため、真の後部の閉形式解析式を見つけることは不可能である。
  論文  参考訳（メタデータ） (2020-10-17T16:33:06Z)
• Solution Path Algorithm for Twin Multi-class Support Vector Machine [6.97711662470035]
  本論文は, ツインマルチクラスサポートベクトルマシンの高速正規化パラメータチューニングアルゴリズムについて述べる。 新たなサンプルデータセット分割法を採用し,ラグランジアン乗算器は分数線形であることが証明された。 提案手法は,グリッド探索手法の計算コストを指数レベルから定数レベルに削減し,優れた分類性能を実現する。
  論文  参考訳（メタデータ） (2020-05-30T14:05:46Z)
• CWY Parametrization: a Solution for Parallelized Optimization of Orthogonal and Stiefel Matrices [41.57234424773276]
  本稿では,GPUやTPUなどの並列計算ユニット上での直交群に対する効率的な最適化手法を提案する。 さらに、Stiefel多様体のパラメトリゼーションのための新しいTruncated CWY(またはT-CWY)アプローチを開発する。 我々は,ニューラルマシンビデオ予測のタスクにおいて,リカレントニューラルネットワークアーキテクチャのトレーニングに本手法を適用した。
  論文  参考訳（メタデータ） (2020-04-18T17:58:43Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。