論文の概要: GLAI: GreenLightningAI for Accelerated Training through Knowledge Decoupling
- arxiv url: http://arxiv.org/abs/2510.00883v1
- Date: Wed, 01 Oct 2025 13:31:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:20.583566
- Title: GLAI: GreenLightningAI for Accelerated Training through Knowledge Decoupling
- Title（参考訳）: GLAI:知識疎結合による加速トレーニングのためのGreenLightningAI
- Authors: Jose I. Mestre, Alberto Fernández-Hernández, Cristian Pérez-Corral, Manuel F. Dolz, Jose Duato, Enrique S. Quintana-Ortí,
- Abstract要約: 従来のアーキテクチャに代わるものとして設計された新しいアーキテクチャブロックであるGreenLightningAI(GLAI)を紹介する。
i) 構造的知識*はReLUアクティベーションによって引き起こされる安定した活性化パターンによってエンコードされ、(ii) 定量的知識*は数値的な重みとバイアスによってもたらされる。
一度安定化した構造を固定することにより、GLAIは、定量的成分のみを最適化した経路の組み合わせとして構造を再構成する。
- 参考スコア（独自算出の注目度）: 1.0518862318418603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we introduce GreenLightningAI (GLAI), a new architectural block designed as an alternative to conventional MLPs. The central idea is to separate two types of knowledge that are usually entangled during training: (i) *structural knowledge*, encoded by the stable activation patterns induced by ReLU activations; and (ii) *quantitative knowledge*, carried by the numerical weights and biases. By fixing the structure once stabilized, GLAI reformulates the MLP as a combination of paths, where only the quantitative component is optimized. This reformulation retains the universal approximation capabilities of MLPs, yet achieves a more efficient training process, reducing training time by ~40% on average across the cases examined in this study. Crucially, GLAI is not just another classifier, but a generic block that can replace MLPs wherever they are used, from supervised heads with frozen backbones to projection layers in self-supervised learning or few-shot classifiers. Across diverse experimental setups, GLAI consistently matches or exceeds the accuracy of MLPs with an equivalent number of parameters, while converging faster. Overall, GLAI establishes a new design principle that opens a direction for future integration into large-scale architectures such as Transformers, where MLP blocks dominate the computational footprint.
- Abstract（参考訳）: 本稿では,従来のMLPの代替として設計された新しいアーキテクチャブロックであるGreenLightningAI(GLAI)を紹介する。
中心となる考え方は、通常訓練中に絡み合う2つのタイプの知識を分離することである。
(i)*構造知識*、ReLU活性化によって誘導される安定した活性化パターンによって符号化された、及び
(ii)*定量的知識* 数値重みと偏りによってもたらされる。
一度安定化した構造を固定することで、GLAIはMDPを定量的成分のみを最適化した経路の組み合わせとして再構成する。
この再編成は、MLPの普遍近似能力を保ちながら、より効率的なトレーニングプロセスを実現し、本研究で調べたケースの平均で約40%のトレーニング時間を短縮する。
重要な点として、GLAIは単なる分類器ではなく、教師付きヘッドから自己教師付き学習や数発の分類器におけるプロジェクション層まで、使用中のMPPを置き換えることができるジェネリックブロックである。
GLAIは様々な実験的な設定で、同じ数のパラメータでMLPの精度を常に一致または超過する一方で、より高速に収束する。
全体的に、GLAIはトランスフォーマーのような大規模アーキテクチャへの将来の統合の方向性を開く新しい設計原則を確立し、計算フットプリントはMLPブロックが支配する。
関連論文リスト
- ProGMLP: A Progressive Framework for GNN-to-MLP Knowledge Distillation with Efficient Trade-offs [42.37669895235534]
我々は,GNN-to-MLP知識の推論コストと精度のトレードオフを柔軟かつオンデマンドで実現するために,プログレッシブフレームワークを導入する。
我々のアプローチは、8つの実世界のグラフデータセットに関する包括的な実験を通じて検証される。
論文 参考訳（メタデータ） (2025-07-25T07:35:09Z) - TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。
タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。
視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
論文 参考訳（メタデータ） (2025-06-12T05:25:35Z) - Leveraging KANs for Expedient Training of Multichannel MLPs via Preconditioning and Geometric Refinement [2.249916681499244]
マルチレイヤパーセプトロン(MLP)は、様々な現代的なディープラーニングフレームワークで使用される機械学習アーキテクチャである。
近年、コルモゴロフ・アルノルドネットワーク(KAN)は、様々な問題での成功により、ますます人気が高まっている。
本稿では,kansとマルチチャネルの関係を利用して,高速な訓練方法に関する構造的洞察を得る。
論文 参考訳（メタデータ） (2025-05-23T17:41:18Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - MLPs Learn In-Context on Regression and Classification Tasks [28.13046236900491]
In-context Learning (ICL) はしばしばトランスフォーマーモデルのユニークな特徴であると考えられている。
マルチ層パーセプトロン(MLP)もコンテキスト内で学習可能であることを示す。
その結果, 合成環境における経験者の予期せぬ能力が浮き彫りになった。
論文 参考訳（メタデータ） (2024-05-24T15:04:36Z) - MLP Fusion: Towards Efficient Fine-tuning of Dense and Mixture-of-Experts Language Models [33.86069537521178]
訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。
一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。
微調整に特化して設計されたワンショット圧縮技術を提案する。
論文 参考訳（メタデータ） (2023-07-18T03:12:51Z) - Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。
特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。
6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
論文 参考訳（メタデータ） (2022-03-14T04:32:19Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳（メタデータ） (2021-07-28T05:18:10Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。