論文の概要: Element-wise Modulation of Random Matrices for Efficient Neural Layers
- arxiv url: http://arxiv.org/abs/2512.13480v1
- Date: Mon, 15 Dec 2025 16:16:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.741746
- Title: Element-wise Modulation of Random Matrices for Efficient Neural Layers
- Title（参考訳）: 効率的なニューラルネットワーク層のためのランダム行列の要素ワイズ変調
- Authors: Maksymilian Szorc,
- Abstract要約: 軽量で学習可能な要素ワイドパラメータによって変調された固定ランダム行列を用いて,特徴混在を適応から切り離す新しい手法を提案する。
このアーキテクチャは、トレーニング可能なパラメータ数を、様々なベンチマークで信頼性を維持しながら、線形スケールに大幅に削減する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully connected layers are a primary source of memory and computational overhead in deep neural networks due to their dense, often redundant parameterization. While various compression techniques exist, they frequently introduce complex engineering trade-offs or degrade model performance. We propose the Parametrized Random Projection (PRP) layer, a novel approach that decouples feature mixing from adaptation by utilizing a fixed random matrix modulated by lightweight, learnable element-wise parameters. This architecture drastically reduces the trainable parameter count to a linear scale while retaining reliable accuracy across various benchmarks. The design serves as a stable, computationally efficient solution for architectural scaling and deployment in resource-limited settings.
- Abstract（参考訳）: 完全に接続されたレイヤは、密度が高く、しばしば冗長なパラメータ化のため、ディープニューラルネットワークにおけるメモリと計算オーバーヘッドの主要なソースである。
様々な圧縮技術が存在するが、複雑なエンジニアリングトレードオフやモデル性能の劣化を頻繁に導入している。
本稿では, 並列化ランダム射影層(PRP)を提案する。これは, 軽量で学習可能な要素ワイドパラメータによって変調された固定ランダム行列を用いて, 特徴混合を適応から切り離す新しい手法である。
このアーキテクチャは、トレーニング可能なパラメータ数を、様々なベンチマークで信頼性を維持しながら、線形スケールに大幅に削減する。
この設計は、リソース制限された設定でアーキテクチャのスケーリングとデプロイを行うための、安定的で、計算的に効率的なソリューションとして機能する。
関連論文リスト
- QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation [52.024845354511555]
構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。
我々の重要な洞察は、Q行列が視覚的特徴間の干渉を自然に最小化することである。
QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れた絡み合いを実現することを示す実験である。
論文 参考訳（メタデータ） (2025-07-07T01:31:01Z) - Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression [0.0]
本稿では,物理インフォームドニューラルネットワーク(PINN)に適した動的,エラーバウンドな階層行列 (H-matrix) 圧縮手法を提案する。
提案手法は,ニューラル・タンジェント・カーネル(NTK)の本質的性質を保ちながら,大規模物理モデルにおける計算複雑性とメモリ要求を低減させる。
実験により, この手法は, 高精度を維持し, 一般化能力を向上させることにより, Singular Value Decomposition (SVD) やプルーニング, 量子化などの従来の圧縮手法よりも優れていることを示した。
論文 参考訳（メタデータ） (2024-09-11T05:55:51Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳（メタデータ） (2023-03-27T02:34:09Z) - Neural Implicit Flow: a mesh-agnostic dimensionality reduction paradigm
of spatio-temporal data [4.996878640124385]
大規模・パラメトリック・時空間データに対してメッシュに依存しない低ランクな表現を可能にする,NIF(Neural Implicit Flow)と呼ばれる汎用フレームワークを提案する。
NIFは、2つの修正された多層パーセプトロン(i)ShapeNetで構成されており、これは空間的複雑さ(i)ShapeNetを分離し、表現し、パラメトリック依存関係、時間、センサー測定を含む他の入力測定を考慮に入れている。
パラメトリックサロゲートモデリングにおけるNIFの有用性を実証し、複雑な時空間力学の解釈可能な表現と圧縮を可能にし、多空間時空間の効率的な一般化を実現し、スパースの性能を改善した。
論文 参考訳（メタデータ） (2022-04-07T05:02:58Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。