論文の概要: EUGens: Efficient, Unified, and General Dense Layers

• arxiv url: http://arxiv.org/abs/2601.22563v2
• Date: Mon, 02 Feb 2026 17:47:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:32.916384
• Title: EUGens: Efficient, Unified, and General Dense Layers
• Title（参考訳）: EUGens: 効率的で統一された汎用レイヤ
• Authors: Sang Min Kim, Byeongchan Kim, Arijit Sehanobish, Somnath Basu Roy Chowdhury, Rahul Kidambi, Dongseok Shim, Avinava Dubey, Snigdha Chaturvedi, Min-hwan Oh, Krzysztof Choromanski,
• Abstract要約: 我々は、標準完全連結フィードフォワード層、textbfEfficient、 textbfUnimat、 textbfGeneral dense layer (EUGens) を一般化する新しい階層のクラスを提案する。 EUGensはランダムな特徴を活用して標準的なFFLを近似し、その計算に入力ノルムに直接的な依存を組み込むことによってそれらを超える。
• 参考スコア（独自算出の注目度）: 56.498769704575544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient neural networks are essential for scaling machine learning models to real-time applications and resource-constrained environments. Fully-connected feedforward layers (FFLs) introduce computation and parameter count bottlenecks within neural network architectures. To address this challenge, in this work, we propose a new class of dense layers that generalize standard fully-connected feedforward layers, \textbf{E}fficient, \textbf{U}nified and \textbf{Gen}eral dense layers (EUGens). EUGens leverage random features to approximate standard FFLs and go beyond them by incorporating a direct dependence on the input norms in their computations. The proposed layers unify existing efficient FFL extensions and improve efficiency by reducing inference complexity from quadratic to linear time. They also lead to \textbf{the first} unbiased algorithms approximating FFLs with arbitrary polynomial activation functions. Furthermore, EuGens reduce the parameter count and computational overhead while preserving the expressive power and adaptability of FFLs. We also present a layer-wise knowledge transfer technique that bypasses backpropagation, enabling efficient adaptation of EUGens to pre-trained models. Empirically, we observe that integrating EUGens into Transformers and MLPs yields substantial improvements in inference speed (up to \textbf{27}\%) and memory efficiency (up to \textbf{30}\%) across a range of tasks, including image classification, language model pre-training, and 3D scene reconstruction. Overall, our results highlight the potential of EUGens for the scalable deployment of large-scale neural networks in real-world scenarios.
• Abstract（参考訳）: 機械学習モデルをリアルタイムアプリケーションやリソース制約のある環境にスケーリングするには、効率的なニューラルネットワークが不可欠である。 フル接続フィードフォワード層(FFL)は、ニューラルネットワークアーキテクチャ内の計算とパラメータカウントのボトルネックを導入する。 この課題に対処するため,本研究では,標準完全連結フィードフォワード層, \textbf{E}fficient, \textbf{U}nified および \textbf{Gen}eral dense layer (EUGens) を一般化した新しい高密度層を提案する。 EUGensはランダムな特徴を活用して標準的なFFLを近似し、その計算に入力ノルムに直接的な依存を組み込むことによってそれらを超える。 提案するレイヤは,2次時間から線形時間までの推論複雑性を低減し,既存の効率的なFFL拡張を統一し,効率を向上させる。 また、任意の多項式活性化関数を持つ FFL を近似する {textbf{the} unbiased algorithm も導かれる。 さらに、EuGensはFFLの表現力と適応性を保ちながらパラメータカウントと計算オーバーヘッドを低減する。 また、バックプロパゲーションを回避し、EUGenの事前学習モデルへの効率的な適応を可能にするレイヤワイドな知識伝達手法を提案する。 実験により,EUGenをトランスフォーマーやMLPに組み込むことで,画像分類,言語モデル事前学習,3次元シーン再構成など,さまざまなタスクにおいて,推論速度(最大で \textbf{27}\%)とメモリ効率(最大で \textbf{30}\%)が大幅に向上することがわかった。 全体として、我々の結果は、現実のシナリオにおける大規模ニューラルネットワークのスケーラブルな展開におけるEUGensの可能性を強調します。

関連論文リスト

• GENE-FL: Gene-Driven Parameter-Efficient Dynamic Federated Learning [43.967121817631046]
  遺伝子駆動型パラメータ効率動的フェデレートラーニング(GENE-FL)フレームワークを提案する。 まず、局所モデルは、大域的モデルにおけるフィッシャー値の高いパラメータに基づいて二次的制約を実行する。 第2に、局所モデルパラメータにおけるパラメータ感度解析の戦略を適用し、相互作用のためのtextitlearnGeneを凝縮する。 第3に、サーバはこれらの小規模なトレーニングされたtextitlearnGeneを、クロスタスクの一般化機能を備えた堅牢なtextitlearnGeneに集約する。
  論文  参考訳（メタデータ） (2025-04-20T14:10:02Z)
• Want to train KANS at scale? Now UKAN! [2.9666099400348607]
  我々は、従来のコルモゴロフ・アルノルドネットワーク(KAN)における有界グリッドの必要性を取り除く方法であるUnbounded Kolmogorov-Arnold Networks (UKANs)を提案する。 UKANは、グリッドグループの位置符号化をCGモデルに入力することで、カンと多層パーセプトロンを結合し、データ正規化を必要とせずに非有界領域上の関数近似を可能にする。
  論文  参考訳（メタデータ） (2024-08-20T21:20:38Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems [11.639503711252663]
  Federated Learning(FL)は、多数のノードにわたるモデルのトレーニング用に設計された、成長する機械学習(ML)パラダイムである。 本研究では, フラニング法とFL法を組み合わせることにより, 限界を克服する新しいアルゴリズムを開発した。 本研究は,MPFLの既存手法と比較して優れた性能を示す広範囲な実験的研究である。
  論文  参考訳（メタデータ） (2023-12-06T20:29:23Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。