論文の概要: Element-wise Modulation of Random Matrices for Efficient Neural Layers
- arxiv url: http://arxiv.org/abs/2512.13480v1
- Date: Mon, 15 Dec 2025 16:16:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.741746
- Title: Element-wise Modulation of Random Matrices for Efficient Neural Layers
- Title（参考訳）: 効率的なニューラルネットワーク層のためのランダム行列の要素ワイズ変調
- Authors: Maksymilian Szorc,
- Abstract要約: 軽量で学習可能な要素ワイドパラメータによって変調された固定ランダム行列を用いて,特徴混在を適応から切り離す新しい手法を提案する。
このアーキテクチャは、トレーニング可能なパラメータ数を、様々なベンチマークで信頼性を維持しながら、線形スケールに大幅に削減する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully connected layers are a primary source of memory and computational overhead in deep neural networks due to their dense, often redundant parameterization. While various compression techniques exist, they frequently introduce complex engineering trade-offs or degrade model performance. We propose the Parametrized Random Projection (PRP) layer, a novel approach that decouples feature mixing from adaptation by utilizing a fixed random matrix modulated by lightweight, learnable element-wise parameters. This architecture drastically reduces the trainable parameter count to a linear scale while retaining reliable accuracy across various benchmarks. The design serves as a stable, computationally efficient solution for architectural scaling and deployment in resource-limited settings.
- Abstract（参考訳）: 完全に接続されたレイヤは、密度が高く、しばしば冗長なパラメータ化のため、ディープニューラルネットワークにおけるメモリと計算オーバーヘッドの主要なソースである。
様々な圧縮技術が存在するが、複雑なエンジニアリングトレードオフやモデル性能の劣化を頻繁に導入している。
本稿では, 並列化ランダム射影層(PRP)を提案する。これは, 軽量で学習可能な要素ワイドパラメータによって変調された固定ランダム行列を用いて, 特徴混合を適応から切り離す新しい手法である。
このアーキテクチャは、トレーニング可能なパラメータ数を、様々なベンチマークで信頼性を維持しながら、線形スケールに大幅に削減する。
この設計は、リソース制限された設定でアーキテクチャのスケーリングとデプロイを行うための、安定的で、計算的に効率的なソリューションとして機能する。
関連論文リスト
- GRASP: GRouped Activation Shared Parameterization for Parameter-Efficient Fine-Tuning and Robust Inference of Transformers [12.475144734899674]
我々は,選択したレイヤのD次元トークン表現をKDグループに分割する軽量PEFTフレームワークGRASPを紹介し,各グループに対して共有スケーリングおよびシフトベクトルを学習する。
決定論的値ではなく,事前学習した重みに対する摂動としてガウス分布を学習するStochGRASPを提案する。
様々なノイズレベルの下で、StochGRASPは決定論的変異を一貫して上回り、エネルギー効率とノイズを発生させるハードウェアプラットフォームに適していることを示した。
論文 参考訳（メタデータ） (2025-12-03T22:17:05Z) - QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation [52.024845354511555]
構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。
我々の重要な洞察は、Q行列が視覚的特徴間の干渉を自然に最小化することである。
QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れた絡み合いを実現することを示す実験である。
論文 参考訳（メタデータ） (2025-07-07T01:31:01Z) - Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。
これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。
本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
論文 参考訳（メタデータ） (2025-04-01T14:36:45Z) - Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression [0.0]
本稿では,物理インフォームドニューラルネットワーク(PINN)に適した動的,エラーバウンドな階層行列 (H-matrix) 圧縮手法を提案する。
提案手法は,ニューラル・タンジェント・カーネル(NTK)の本質的性質を保ちながら,大規模物理モデルにおける計算複雑性とメモリ要求を低減させる。
実験により, この手法は, 高精度を維持し, 一般化能力を向上させることにより, Singular Value Decomposition (SVD) やプルーニング, 量子化などの従来の圧縮手法よりも優れていることを示した。
論文 参考訳（メタデータ） (2024-09-11T05:55:51Z) - Multilevel CNNs for Parametric PDEs based on Adaptive Finite Elements [0.0]
高次元パラメータ依存偏微分方程式の多値性を利用するニューラルネットワークアーキテクチャが提案されている。
ネットワークは適応的に洗練された有限要素メッシュのデータで訓練される。
適応型マルチレベルスキームに対して完全収束と複雑性解析を行う。
論文 参考訳（メタデータ） (2024-08-20T13:32:11Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳（メタデータ） (2023-03-27T02:34:09Z) - Neural Implicit Flow: a mesh-agnostic dimensionality reduction paradigm
of spatio-temporal data [4.996878640124385]
大規模・パラメトリック・時空間データに対してメッシュに依存しない低ランクな表現を可能にする,NIF(Neural Implicit Flow)と呼ばれる汎用フレームワークを提案する。
NIFは、2つの修正された多層パーセプトロン(i)ShapeNetで構成されており、これは空間的複雑さ(i)ShapeNetを分離し、表現し、パラメトリック依存関係、時間、センサー測定を含む他の入力測定を考慮に入れている。
パラメトリックサロゲートモデリングにおけるNIFの有用性を実証し、複雑な時空間力学の解釈可能な表現と圧縮を可能にし、多空間時空間の効率的な一般化を実現し、スパースの性能を改善した。
論文 参考訳（メタデータ） (2022-04-07T05:02:58Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - Joint Deep Reinforcement Learning and Unfolding: Beam Selection and
Precoding for mmWave Multiuser MIMO with Lens Arrays [54.43962058166702]
離散レンズアレイを用いたミリ波マルチユーザマルチインプット多重出力(MU-MIMO)システムに注目が集まっている。
本研究では、DLA を用いた mmWave MU-MIMO システムのビームプリコーディング行列の共同設計について検討する。
論文 参考訳（メタデータ） (2021-01-05T03:55:04Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。