論文の概要: Keras Sig: Efficient Path Signature Computation on GPU in Keras 3

• arxiv url: http://arxiv.org/abs/2501.08455v1
• Date: Tue, 14 Jan 2025 22:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:51:32.733795
• Title: Keras Sig: Efficient Path Signature Computation on GPU in Keras 3
• Title（参考訳）: Keras Sig氏: Keras 3のGPU上での効率的なパス署名計算
• Authors: Rémi Genet, Hugo Inzirillo,
• Abstract要約: Keras Sigは、ディープラーニングアプリケーションのためのパスシグネチャを計算するために設計された高性能なピソニックライブラリである。 Keras 3で新たに構築された textitKeras Sig は PyTorch や JAX,GPU など,広く使用されているディープラーニングバックエンドとのシームレスな統合を活用している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper we introduce Keras Sig a high-performance pythonic library designed to compute path signature for deep learning applications. Entirely built in Keras 3, \textit{Keras Sig} leverages the seamless integration with the mostly used deep learning backends such as PyTorch, JAX and TensorFlow. Inspired by Kidger and Lyons (2021),we proposed a novel approach reshaping signature calculations to leverage GPU parallelism. This adjustment allows us to reduce the training time by 55\% and 5 to 10-fold improvements in direct signature computation compared to existing methods, while maintaining similar CPU performance. Relying on high-level tensor operations instead of low-level C++ code, Keras Sig significantly reduces the versioning and compatibility issues commonly encountered in deep learning libraries, while delivering superior or comparable performance across various hardware configurations. We demonstrate through extensive benchmarking that our approach scales efficiently with the length of input sequences and maintains competitive performance across various signature parameters, though bounded by memory constraints for very large signature dimensions.
• Abstract（参考訳）: 本稿では,ディープラーニングアプリケーションのためのパスシグネチャを計算するために設計された高性能なピソニックライブラリであるKeras Sigを紹介する。 Keras 3で新たに構築された \textit{Keras Sig} は PyTorch, JAX, TensorFlow など,主に使用されているディープラーニングバックエンドとのシームレスな統合を活用している。 Kidger and Lyons (2021) にインスパイアされた我々は、GPU並列性を活用するためにシグネチャ計算を再構成する新しいアプローチを提案した。 この調整により、トレーニング時間を55倍から5倍から10倍に短縮でき、CPU性能は同等である。 低レベルのC++コードではなく、高レベルのテンソル操作を頼りにすることで、Keras Sigは、ディープラーニングライブラリで一般的なバージョン管理と互換性の問題を大幅に軽減し、さまざまなハードウェア構成で優れた、あるいは同等のパフォーマンスを提供する。 提案手法は,入力シーケンスの長さで効率よくスケールし,メモリ制約に縛られながら,様々なシグネチャパラメータ間での競合性能を維持可能であることを示す。

関連論文リスト

• Efficient LLM Inference with I/O-Aware Partial KV Cache Recomputation [7.204881999658682]
  大規模言語モデル(LLM)の推論は計算的に要求される。 自動回帰デコーディングのコストを削減するため、キーバリュー(KV)キャッシングは中間アクティベーションを格納するために使用される。 KVキャッシュに必要なメモリは急速に増加し、しばしばGPUメモリの容量を超える。 コスト効率のよい代替手段は、KVキャッシュをCPUメモリにオフロードすることであり、これはGPUメモリの圧力を軽減するが、ボトルネックをCPUとGPU間のPCIe接続の限られた帯域にシフトさせる。
  論文  参考訳（メタデータ） (2024-11-26T04:03:14Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• High Performance Computing Applied to Logistic Regression: A CPU and GPU Implementation Comparison [0.0]
  汎用GPUによるロジスティック回帰(LR)の並列バージョンを提案する。 我々の実装は、X. Zouらによって提案された並列なグラディエントDescent Logistic Regressionアルゴリズムの直接変換である。 本手法は,画像認識,スパム検出,不正検出などのリアルタイム予測に特に有用である。
  論文  参考訳（メタデータ） (2023-08-19T14:49:37Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation [100.89770978711464]
  セマンティックセグメンテーションのための単純な畳み込みネットワークアーキテクチャであるSegNeXtを提案する。 コンボリューションアテンションは、トランスフォーマーの自己認識メカニズムよりも、文脈情報をエンコードするより効率的で効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-09-18T14:33:49Z)
• Memory Safe Computations with XLA Compiler [14.510796427699459]
  XLAコンパイラ拡張は、ユーザーが指定したメモリ制限に従ってアルゴリズムの表現を調整する。 我々は,k-アネレスト近傍およびスパースガウス過程回帰法が単一デバイス上ではるかに大きなスケールで実行可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-28T16:59:28Z)
• Stochastic Gradient Descent without Full Data Shuffle [65.97105896033815]
  CorgiPileは階層的なデータシャッフル戦略で、完全なデータシャッフルを回避すると同時に、完全なシャッフルを実行したかのようにSGDの収束率を同等に維持する。 以上の結果から,CorgiPileは深層学習モデルと一般化線形モデルの両方において,全シャッフルベースSGDと同等の収束率を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-12T20:04:31Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Kernel Operations on the GPU, with Autodiff, without Memory Overflows [5.669790037378094]
  KeOpsライブラリは、数学的公式によってエントリが与えられるテンソルに対して、高速でメモリ効率のよいGPUサポートを提供する。 KeOpsは、カーネルおよび幾何学的アプリケーションのためのテンソル中心ライブラリの大きなボトルネックであるメモリ消費を緩和する。 KeOpsは、最適化されたC++/CUDAスキームと、Python(NumpyとPyTorch)、Matlab、Rのバインダーを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-27T08:54:10Z)
• Signatory: differentiable computations of the signature and logsignature transforms, on both CPU and GPU [13.503274710499971]
  Signatoryは、シグネチャおよびログシグネチャ変換に関連する機能を計算し、実行するライブラリである。 これは、効率的な事前計算戦略など、以前のライブラリでは利用できない新機能を実装している。 ライブラリはC++のPythonラッパーとして動作し、PyTorchエコシステムと互換性がある。
  論文  参考訳（メタデータ） (2020-01-03T03:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。