Fugu-MT 論文翻訳(概要): Fast Clifford Neural Layers

論文の概要: Fast Clifford Neural Layers

arxiv url: http://arxiv.org/abs/2507.01040v1
Date: Sun, 22 Jun 2025 20:43:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-07 02:47:44.436094
Title: Fast Clifford Neural Layers
Title（参考訳）: 高速クリフォード神経層
Authors: Tianxiang Xia, Max Neuwinger, Lin Xiao,
Abstract要約: Clifford Neural Layersは、ニューラルネットワークにClifford Algebraを導入することにより、PDEモデリングを改善する。 2/3D Clifford畳み込み層とマルチベクタアクティベーション層を1つのコアCPU性能に最適化することに集中する。我々の実装は、比較的大きなデータ+ネットワークサイズで標準のPyTorch実装よりも30%高速です。
参考スコア（独自算出の注目度）: 5.862561975169019
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Clifford Neural Layers improve PDE modeling by introducing Clifford Algebra into neural networks. In this project we focus on optimizing the inference of 2/3D Clifford convolutional layers and multivector activation layers for one core CPU performance. Overall, by testing on a real network block involving Clifford convolutional layers and multivector activation layers, we observe that our implementation is 30% faster than standard PyTorch implementation in relatively large data + network size (>L2 cache). We open source our code base at https://github.com/egretwAlker/c-opt-clifford-layers
Abstract（参考訳）: Clifford Neural Layersは、ニューラルネットワークにClifford Algebraを導入することにより、PDEモデリングを改善する。本稿では,2/3D Clifford畳み込み層とマルチベクタアクティベーション層を1つのコアCPU性能に最適化することに焦点を当てる。全体として、Clifford畳み込み層とマルチベクタアクティベーション層を含む実際のネットワークブロックをテストすることで、我々の実装は、比較的大規模なデータとネットワークサイズ(>L2キャッシュ)において、標準のPyTorch実装よりも30%高速であることがわかった。コードベースはhttps://github.com/egretwAlker/c-opt-clifford-layersでオープンソース化しています。

関連論文リスト

KHNNs: hypercomplex neural networks computations via Keras using TensorFlow and PyTorch [0.0]
本稿では,DenseとPyTorch内で計算を行うKerasと統合したライブラリアプリケーションを提案する。 DenseとConvolutional 1D、2D、3Dレイヤアーキテクチャを提供する。
論文参考訳（メタデータ） (2024-06-29T14:36:37Z)
Multivector Neurons: Better and Faster O(n)-Equivariant Clifford Graph Neural Networks [17.716680490388306]
本研究では,クリフォード・マルチベクタに基づく新しいメッセージパッシンググラフニューラルネットワーク(GNN)を試作する。我々はNボディデータセットの最先端エラーを0.0035にプッシュし、最近の手法よりも8%改善した。
論文参考訳（メタデータ） (2024-06-06T13:17:44Z)
Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
論文参考訳（メタデータ） (2024-05-06T16:03:32Z)
iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations [1.3030767447016454]
iSpLibは、自動調整されたスパース操作を備えたPyTorchベースのC++ライブラリである。 iSpLibは、CPU上のPyTorch 2.1.0とPyTorch Geometric 2.4.0と同等のPyTorch 2.1.0と比較して、最大27倍のトレーニングスピードアップが得られることを示した。
論文参考訳（メタデータ） (2024-03-21T21:56:44Z)
Active search and coverage using point-cloud reinforcement learning [50.741409008225766]
本稿では,目的探索とカバレッジのためのエンドツーエンドの深層強化学習ソリューションを提案する。 RLの深い階層的特徴学習は有効であり、FPS(Fastthest Point sample)を用いることで点数を削減できることを示す。また、ポイントクラウドに対するマルチヘッドの注意がエージェントの学習を高速化する上で有効であるが、同じ結果に収束することを示す。
論文参考訳（メタデータ） (2023-12-18T18:16:30Z)
Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文参考訳（メタデータ） (2023-06-20T03:00:22Z)
Automatic Gradient Descent: Deep Learning without Hyperparameters [35.350274248478804]
ディープニューラルネットワークのアーキテクチャは、レイヤ数、各レイヤの幅、一般的なネットワークトポロジの観点から明確に定義される。グラデーション・アイデアは、神経アーキテクチャの非勾配構造を考慮するために、ブレグマンの発散を変換することである。
論文参考訳（メタデータ） (2023-04-11T12:45:52Z)
Long Range Pooling for 3D Large-Scale Scene Understanding [36.615977377193325]
我々は,3次元大規模シーン理解において重要な2つの要因を主張する。本稿では,拡張最大プーリングを用いたLRP(Long Range pooling)モジュールを提案する。 LRPに基づいて,3次元理解のためのネットワークアーキテクチャであるLRPNetを提案する。
論文参考訳（メタデータ） (2023-01-17T15:36:40Z)
Clifford Neural Layers for PDE Modeling [61.07764203014727]
偏微分方程式 (Partial differential equation, PDE) は、物理過程のシミュレーションを、時間とともに相互作用し、共進化するスカラー場やベクトル場として記述するために、科学や工学で広く用いられる。現在のメソッドは、しばしば相関する異なるフィールドと内部コンポーネントの関係を明示的に考慮していない。本稿では, Clifford convolutions や Clifford Fourier transforms とともに, 深層学習におけるマルチベクトル表現の活用について述べる。結果として生じるクリフォード神経層は普遍的に適用可能であり、流体力学、天気予報、一般の物理系のモデリングで直接使用される。
論文参考訳（メタデータ） (2022-09-08T17:35:30Z)
Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文参考訳（メタデータ） (2021-04-16T09:54:30Z)
OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。