論文の概要: ALX: Large Scale Matrix Factorization on TPUs

• arxiv url: http://arxiv.org/abs/2112.02194v1
• Date: Fri, 3 Dec 2021 23:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-11 06:13:30.053145
• Title: ALX: Large Scale Matrix Factorization on TPUs
• Title（参考訳）: ALX:TPU上の大規模行列係数化
• Authors: Harsh Mehta, Steffen Rendle, Walid Krichene, Li Zhang
• Abstract要約: 本稿では,Alternating Least Squares を用いた分散行列分解のためのオープンソースライブラリ ALX を提案する。 私たちはまた、WebGraphと呼ばれる現実世界のWebリンク予測データセットを構築しました。
• 参考スコア（独自算出の注目度）: 23.14552786963906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present ALX, an open-source library for distributed matrix factorization using Alternating Least Squares, written in JAX. Our design allows for efficient use of the TPU architecture and scales well to matrix factorization problems of O(B) rows/columns by scaling the number of available TPU cores. In order to spur future research on large scale matrix factorization methods and to illustrate the scalability properties of our own implementation, we also built a real world web link prediction dataset called WebGraph. This dataset can be easily modeled as a matrix factorization problem. We created several variants of this dataset based on locality and sparsity properties of sub-graphs. The largest variant of WebGraph has around 365M nodes and training a single epoch finishes in about 20 minutes with 256 TPU cores. We include speed and performance numbers of ALX on all variants of WebGraph. Both the framework code and the dataset is open-sourced.
• Abstract（参考訳）: JAX で書かれた Alternating Least Squares を用いた分散行列分解用オープンソースライブラリ ALX について述べる。 当社の設計では,利用可能なtpuコア数をスケールすることで,o(b)行/カラムの行列分解問題に対して,tpuアーキテクチャとスケールの効率的な利用を可能にする。 大規模行列分解法の研究を加速させ,我々の実装のスケーラビリティ特性を説明するために,WebGraphと呼ばれる実世界のWebリンク予測データセットを構築した。 このデータセットは行列分解問題として容易にモデル化できる。 我々は,部分グラフの局所性と空間特性に基づいて,このデータセットのいくつかの変種を作成した。 WebGraphの最大の変種は365万のノードを持ち、256 TPUコアで1エポックのトレーニングは約20分で終了する。 WebGraphのすべての変種におけるALXの速度と性能の数値を含めます。 フレームワークコードとデータセットの両方がオープンソースである。

関連論文リスト

• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• Laplacian Canonization: A Minimalist Approach to Sign and Basis Invariant Spectral Embedding [36.61907023057978]
  スペクトル埋め込みは強力なグラフ計算手法であり、グラフトランスフォーマーの有効性から最近多くの注目を集めている。 従来の手法は、新しい不変量を学び、高い複雑さに苦しむために、コストのかかるアプローチを開発した。 本研究では,固有ベクトルの正準方向を直接求めることにより,あいまいさを解消する最小限のアプローチを検討する。
  論文  参考訳（メタデータ） (2023-10-28T14:35:10Z)
• Two to Five Truths in Non-Negative Matrix Factorization [0.0]
  グラフに対する正規化ラプラシアン(NL)に着想を得たスケーリングを提案し、非負行列分解の質を大幅に向上させることができる。 マトリックススケーリングは、さまざまなデータセットのテキストトピックモデルに大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2023-05-06T14:40:20Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• AutoGMap: Learning to Map Large-scale Sparse Graphs on Memristive Crossbars [21.835545525155453]
  本研究は,問題を逐次決定問題としてモデル化する動的空間認識マッピング手法を提案する。 我々の生成モデル(LSTM)は、小型の典型的なグラフ/行列データに対して顕著なマッピング性能を生成する。 このスキームのコーディングフレームワークは直感的で、デプロイメントやコンパイルシステムに適応可能である。
  論文  参考訳（メタデータ） (2021-11-15T11:37:47Z)
• Graph Contrastive Learning Automated [94.41860307845812]
  グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。 GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。 本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:35:27Z)
• Learning Based Proximity Matrix Factorization for Node Embedding [33.18041180501025]
  ノード埋め込みの最近の進歩は、近接行列因数分解法は、数百万のノードを持つ大規模グラフに対して、非常に高い性能とスケールが得られることを示している。 トレーニング可能な近接測度を持つフレームワークである Em Lemane を提案する。 提案手法は,ほぼすべてのデータセットにおいて,リンク予測とノード分類タスクの両方において,既存のソリューションよりも優れている。
  論文  参考訳（メタデータ） (2021-06-10T03:29:15Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)
• Pseudoinverse Graph Convolutional Networks: Fast Filters Tailored for Large Eigengaps of Dense Graphs and Hypergraphs [0.0]
  Graph Convolutional Networks (GCNs) は、グラフベースのデータセットで半教師付き分類を行うツールとして成功している。 本稿では,三部フィルタ空間が高密度グラフを対象とする新しいGCN変種を提案する。
  論文  参考訳（メタデータ） (2020-08-03T08:48:41Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。