論文の概要: Accelerating Machine Learning Systems via Category Theory: Applications to Spherical Attention for Gene Regulatory Networks

• arxiv url: http://arxiv.org/abs/2505.09326v1
• Date: Wed, 14 May 2025 12:24:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.449053
• Title: Accelerating Machine Learning Systems via Category Theory: Applications to Spherical Attention for Gene Regulatory Networks
• Title（参考訳）: カテゴリー理論による機械学習システムの高速化:遺伝子制御ネットワークにおける球面アテンションへの応用
• Authors: Vincent Abbott, Kotaro Kamiya, Gerard Glowacki, Yu Atsumi, Gioele Zardini, Yoshihiro Maruyama,
• Abstract要約: ニューラルネットワーク図を用いて、ディープラーニングアルゴリズムに関する一般的な定理を証明します。 我々は,遺伝子制御ネットワークの領域に係わる新しい注意アルゴリズムの開発を指導する。 我々のカーネルは、最先端の細調整されたFlashAttentionアルゴリズムに匹敵する性能を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: How do we enable artificial intelligence models to improve themselves? This is central to exponentially improving generalized artificial intelligence models, which can improve their own architecture to handle new problem domains in an efficient manner that leverages the latest hardware. However, current automated compilation methods are poor, and efficient algorithms require years of human development. In this paper, we use neural circuit diagrams, based in category theory, to prove a general theorem related to deep learning algorithms, guide the development of a novel attention algorithm catered to the domain of gene regulatory networks, and produce a corresponding efficient kernel. The algorithm we propose, spherical attention, shows that neural circuit diagrams enable a principled and systematic method for reasoning about deep learning architectures and providing high-performance code. By replacing SoftMax with an $L^2$ norm as suggested by diagrams, it overcomes the special function unit bottleneck of standard attention while retaining the streaming property essential to high-performance. Our diagrammatically derived \textit{FlashSign} kernel achieves comparable performance to the state-of-the-art, fine-tuned FlashAttention algorithm on an A100, and $3.6\times$ the performance of PyTorch. Overall, this investigation shows neural circuit diagrams' suitability as a high-level framework for the automated development of efficient, novel artificial intelligence architectures.
• Abstract（参考訳）: 人工知能モデルはどのように自分自身を改善するのか? これは、一般化された人工知能モデルを指数関数的に改善することの中心であり、最新のハードウェアを活用する効率的な方法で、新しい問題領域を扱うために独自のアーキテクチャを改善することができる。 しかし、現在の自動コンパイル手法は貧弱であり、効率的なアルゴリズムには数年の人的開発が必要である。 本稿では、カテゴリ理論に基づくニューラルネットワーク図を用いて、ディープラーニングアルゴリズムに関する一般的な定理を証明し、遺伝子制御ネットワークの領域に係わる新しい注目アルゴリズムの開発を誘導し、対応する効率的なカーネルを生成する。 提案するアルゴリズムは,ニューラルネットワーク図により,ディープラーニングアーキテクチャを推論し,高性能なコードを提供するための原理的かつ体系的な手法が実現可能であることを示す。 図が示すように、SoftMaxを$L^2$の標準に置き換えることで、ハイパフォーマンスに不可欠なストリーミング特性を維持しながら、標準注意の特別な機能ユニットボトルネックを克服する。 ダイアグラム的に派生した \textit{FlashSign} カーネルは、A100上の最先端で微調整された FlashAttention アルゴリズムに匹敵する性能を達成し、PyTorch のパフォーマンスは3.6\times$である。 全体として、この研究は、効率的で新しい人工知能アーキテクチャを自動開発するための高レベルなフレームワークとして、ニューラルネットワークダイアグラムの適合性を示している。

関連論文リスト

• NAR-*ICP: Neural Execution of Classical ICP-based Pointcloud Registration Algorithms [7.542220697870245]
  本研究ではニューラルネットワークと古典ロボットアルゴリズムの交点をニューラルネットワーク推論フレームワークを用いて検討する。 我々は従来のICPベースのポイントクラウド登録アルゴリズムの中間アルゴリズムステップを学習するグラフニューラルネットワーク(GNN)ベースの学習フレームワークであるNAR-*ICPを提案する。 我々は、実世界から合成まで多様なデータセットにまたがってアプローチを評価し、複雑でノイズの多い入力を扱う際の柔軟性を実証した。
  論文  参考訳（メタデータ） (2024-10-14T19:33:46Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Input Convex Lipschitz RNN: A Fast and Robust Approach for Engineering Tasks [14.835081385422653]
  入力凸リプシッツリカレントニューラルネットワーク(ICLRNN)と呼ばれる新しいネットワークアーキテクチャを導入する。 このアーキテクチャは、凸性とリプシッツ連続性の利点をシームレスに統合し、高速で堅牢なニューラルネットワークベースのモデリングと最適化を可能にする。 化学プロセスのモデリングと制御、ソーラーPVシステム計画のための実世界の太陽放射予測など、実用的な技術シナリオにうまく応用されている。
  論文  参考訳（メタデータ） (2024-01-15T06:26:53Z)
• Neuroevolution of Recurrent Architectures on Control Tasks [3.04585143845864]
  並列に並列な進化的アルゴリズムを実装し、19のOpenAI Gym状態に基づく強化学習制御タスクで実験を行う。 動的エージェントは, パラメータの桁数を桁違いに減らしながら, 勾配に基づくエージェントの性能に適合するか, 上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-03T16:29:18Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Bottom-up and top-down approaches for the design of neuromorphic processing systems: Tradeoffs and synergies between natural and artificial intelligence [3.874729481138221]
  ムーアの法則は指数計算能力の期待を加速させており、システム全体の性能を改善するための新たな方法を求める最終段階に近づいている。 これらの方法の1つは、生物学的ニューラルネットワークシステムの柔軟性と計算効率を達成することを目的とした、脳にインスパイアされた代替コンピューティングアーキテクチャの探索である。 我々は、このパラダイムシフトが実現される際の粒度の異なるレベルについて、その分野の包括的概要を提供する。
  論文  参考訳（メタデータ） (2021-06-02T16:51:45Z)
• Graph Neural Networks for Scalable Radio Resource Management: Architecture Design and Theoretical Analysis [31.372548374969387]
  本稿では,大規模無線資源管理問題にグラフニューラルネットワーク(GNN)を適用することを提案する。 提案手法はスケーラビリティが高く,1つのGPU上で1,000ドルのトランシーバペアを6ミリ秒以内で行う干渉チャネルにおけるビームフォーミング問題を解くことができる。
  論文  参考訳（メタデータ） (2020-07-15T11:43:32Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。