論文の概要: Switchable Activation Networks

• arxiv url: http://arxiv.org/abs/2603.06601v1
• Date: Tue, 17 Feb 2026 08:14:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.415137
• Title: Switchable Activation Networks
• Title（参考訳）: スイッチング・アクティベーション・ネットワーク
• Authors: Laha Ale, Ning Zhang, Scott A. King, Pingzhi Fan,
• Abstract要約: SWAN(Switchable Activation Networks)は、各神経ユニットに決定論的、入力依存のバイナリゲートを装備するフレームワークである。 この動的制御機構は計算を適応的に割り当て、精度を維持しながら冗長性を低減させる。 SWANは、学習活性化制御の課題として効率性を再定義することにより、スパーシティ、プルーニング、適応推論の強みを統一する。
• 参考スコア（独自算出の注目度）: 25.854474675239842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks, and more recently large-scale generative models such as large language models (LLMs) and large vision-action models (LVAs), achieve remarkable performance across diverse domains, yet their prohibitive computational cost hinders deployment in resource-constrained environments. Existing efficiency techniques offer only partial remedies: dropout improves regularization during training but leaves inference unchanged, while pruning and low-rank factorization compress models post hoc into static forms with limited adaptability. Here we introduce SWAN (Switchable Activation Networks), a framework that equips each neural unit with a deterministic, input-dependent binary gate, enabling the network to learn when a unit should be active or inactive. This dynamic control mechanism allocates computation adaptively, reducing redundancy while preserving accuracy. Unlike traditional pruning, SWAN does not simply shrink networks after training; instead, it learns structured, context-dependent activation patterns that support both efficient dynamic inference and conversion into compact dense models for deployment. By reframing efficiency as a problem of learned activation control, SWAN unifies the strengths of sparsity, pruning, and adaptive inference within a single paradigm. Beyond computational gains, this perspective suggests a more general principle of neural computation, where activation is not fixed but context-dependent, pointing toward sustainable AI, edge intelligence, and future architectures inspired by the adaptability of biological brains.
• Abstract（参考訳）: ディープニューラルネットワーク、そして最近では、大規模言語モデル(LLM)や大規模ビジョンアクションモデル(LVA)のような大規模生成モデルが、さまざまな領域にわたって顕著なパフォーマンスを実現しているが、その禁忌な計算コストは、リソースに制約のある環境へのデプロイを妨げる。 ドロップアウトはトレーニング中の正規化を改善するが、推論は変わらないが、プルーニングや低ランク因数分解圧縮モデルは適応性に制限のある静的な形式に後押しされる。 ここで、SWAN(Switchable Activation Networks)というフレームワークを紹介します。これは、各ニューラルネットワークユニットに決定論的、入力依存のバイナリゲートを装備するフレームワークで、ユニットのアクティブ化や非アクティブ化をネットワークが学べます。 この動的制御機構は計算を適応的に割り当て、精度を維持しながら冗長性を低減させる。 従来のプルーニングとは異なり、SWANはトレーニング後に単にネットワークを縮小するのではなく、効率的な動的推論とデプロイのためのコンパクトな高密度モデルへの変換をサポートする構造化されたコンテキスト依存のアクティベーションパターンを学習する。 SWANは、効率を学習活性化制御の問題として再定義することにより、1つのパラダイムでスパーシティ、プルーニング、適応推論の強みを統一する。 この視点は、計算のゲイン以外にも、活性化は固定ではなく、文脈に依存し、持続可能なAI、エッジインテリジェンス、そして生物学的脳の適応性にインスパイアされた将来のアーキテクチャを指して、より一般的なニューラルネットワークの原則を示唆している。

関連論文リスト

• CAMP-HiVe: Cyclic Pair Merging based Efficient DNN Pruning with Hessian-Vector Approximation for Resource-Constrained Systems [3.343542849202802]
  CAMP-HiVeは,Hessian Vector近似を用いたサイクリックペアマージベースプルーニングである。 実験により,提案手法が計算要求の大幅な削減を実現することを示す。 既存の最先端のニューラルプルーニング法よりも優れています。
  論文  参考訳（メタデータ） (2025-11-09T07:58:36Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.5148788595166205]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。