論文の概要: Two-Valued Symmetric Circulant Matrices: Applications in Deep Learning

• arxiv url: http://arxiv.org/abs/2605.16443v1
• Date: Fri, 15 May 2026 00:54:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.408025
• Title: Two-Valued Symmetric Circulant Matrices: Applications in Deep Learning
• Title（参考訳）: 2値対称循環行列の深層学習への応用
• Authors: Jayakrishna Amathi, Venkata Prasanth Yanambaka, Saraju P. Mohanty, Elias Kougianos,
• Abstract要約: 本稿では,1層あたりの重量を2重に抑え,循環性と対称性を維持する,非常に疎いアーキテクチャを提案する。 構造的なスパースアーキテクチャの極端な形態は、従来のフルウェイトストレージと比較して無視できるストレージコストを提供する。 最小限のアーキテクチャ要件と非常に低消費電力のため、このアーキテクチャはエッジコンピューティングプラットフォーム、小さなMLプラットフォーム、IoMTシステム、バッテリー駆動システムに最適である。
• 参考スコア（独自算出の注目度）: 0.29165586612027233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of deep neural networks in vision, medical diagnosis, and IoT scenarios, their deployment on resource-limited platforms poses serious challenges due to their high storage requirements, computational complexity, and large footprint. In particular, fully connected layers require a large number of weights, making it difficult for edge devices to accommodate them. To overcome these challenges associated with limited platforms, this paper proposes the Two-Valued Symmetric Circulant Matrix (TVSCM), a very sparse architecture that employs just two weights per layer to keep it circulant and symmetric. The extreme form of structured sparse architecture provides negligible storage costs compared to traditional full-weight storage. Instead of hardware and additional stages of other traditional sparse learning techniques, such as low-rank approximation and pruning approaches, this architecture provides an extreme form of sparsity, achieving very minimal storage requirements. The simulation study demonstrates more than 80$\times$ reduction in model parameters, reducing parameters from 623,290 to 7,852 on MNIST and from 24,709 to 942 on the MIT-BIH arrhythmia dataset, while maintaining comparable accuracy from 97.6% to 93.5% on MNIST and from 97.6% to 93.1% on MIT-BIH. Due to its minimal architectural requirements and very low power consumption, this architecture would be ideal for edge computing platforms, tiny-ML platforms, IoMT systems, and battery-powered systems.
• Abstract（参考訳）: ビジョン、診断、IoTシナリオにおけるディープニューラルネットワークの成功にもかかわらず、リソース制限されたプラットフォームへのデプロイメントは、高いストレージ要件、計算複雑性、大きなフットプリントのために深刻な問題を引き起こす。 特に、完全に接続された層は大量の重みを必要とするため、エッジデバイスがそれに対応するのが難しくなる。 制限されたプラットフォームに関連するこれらの課題を克服するため,本研究では,2層2重のみを用いて循環と対称性を維持する,非常にスパースなアーキテクチャであるTwo-Valued Symmetric Circulant Matrix (TVSCM)を提案する。 構造的なスパースアーキテクチャの極端な形態は、従来のフルウェイトストレージと比較して無視できるストレージコストを提供する。 ハードウェアや、低ランク近似やプルーニングアプローチといった従来のスパース学習技術の追加段階の代わりに、このアーキテクチャは極端にスパース性を提供し、非常に最小限のストレージ要件を達成する。 シミュレーション研究では、モデルパラメータの80ドル以上の値下げ、MNISTでは623,290から7,852、MIT-BIHの不整脈データセットでは24,709から942に、MNISTでは97.6%から93.5%、MIT-BIHでは97.6%から93.1%に減少している。 最小限のアーキテクチャ要件と非常に低消費電力のため、このアーキテクチャはエッジコンピューティングプラットフォーム、小さなMLプラットフォーム、IoMTシステム、バッテリー駆動システムに最適である。

関連論文リスト

• Silicon Showdown: Performance, Efficiency, and Ecosystem Barriers in Consumer-Grade LLM Inference [0.0]
  本稿では,Nvidia と Apple Silicon のエコシステムについて,系統的な実証分析を行った。 大規模モデルをデプロイするために必要なアーキテクチャ内トレードオフを特徴付ける。 我々は、コンシューマグレードの推論において、最適なハードウェアは計算密度(Nvidia)とメモリ容量(Apple)の複雑な相互作用によって定義されると結論付けた。
  論文  参考訳（メタデータ） (2026-05-01T08:45:47Z)
• LEMMA: Laplacian pyramids for Efficient Marine SeMAntic Segmentation [7.753233602510338]
  資源制約下での正確なリモートセンシングセグメンテーションのための,軽量なセマンティックセグメンテーションモデル LEMMA を提案する。 LeMMAは特徴抽出プロセスの初期にエッジ情報を統合し、モデルのサイズ、複雑さ、推論時間を劇的に削減する。 LeMMAは、さまざまなプラットフォームから取得したデータセット間の最先端のパフォーマンスをデモする。
  論文  参考訳（メタデータ） (2026-03-26T17:38:16Z)
• Two-dimensional Sparse Parallelism for Large Scale Deep Learning Recommendation Model Training [9.47829333855806]
  ディープラーニングレコメンデーションモデル(DLRM)では、スパース埋め込みテーブルはスパースカテゴリの特徴を管理する重要なコンポーネントである。 本稿では,スケーラビリティの課題を克服する新しい2次元スパース並列化手法を提案する。 提案手法は,モデル性能の同等性を保ちながら,トレーニング効率を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-05T19:12:18Z)
• Dynamic Acoustic Model Architecture Optimization in Training for ASR [51.21112094223223]
  DMAOは、Grow-and-drop戦略を使用して、トレーニング中にパラメータを自動的に再配置するアーキテクチャ最適化フレームワークである。 CTC onSpeech, TED-Lium-v2, Switchboard を用いてDMAOの評価を行った。
  論文  参考訳（メタデータ） (2025-06-16T07:47:34Z)
• Can LLMs Revolutionize the Design of Explainable and Efficient TinyML Models? [8.953379216683736]
  本稿では,小さな機械学習(TinyML)プラットフォームに特化して,効率的なニューラルネットワークアーキテクチャを設計するための新しいフレームワークを提案する。 大規模言語モデル(LLM)をニューラルネットワーク探索(NAS)、視覚変換器(ViT)ベースの知識蒸留(KD)戦略、説明可能性モジュールに活用することにより、精度、計算効率、メモリ使用率の最適なバランスをとることができる。
  論文  参考訳（メタデータ） (2025-04-13T18:36:03Z)
• Computer Vision Model Compression Techniques for Embedded Systems: A Survey [75.38606213726906]
  本稿では,コンピュータビジョンタスクに適用される主モデル圧縮技術について述べる。 本稿では,圧縮サブ領域の特性について述べるとともに,異なるアプローチを比較し,最適な手法を選択する方法について論じる。 初期の実装課題を克服する上で、研究者や新しい実践者を支援するためのコードも共有しています。
  論文  参考訳（メタデータ） (2024-08-15T16:41:55Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• Multi-scale Interaction for Real-time LiDAR Data Segmentation on an Embedded Platform [62.91011959772665]
  LiDARデータのリアルタイムセマンティックセグメンテーションは、自動運転車にとって不可欠である。 ポイントクラウド上で直接動作する現在のアプローチでは、複雑な空間集約操作を使用する。 本稿では,マルチスケールインタラクションネットワーク(MINet)と呼ばれるプロジェクションベースの手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T19:06:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。