論文の概要: NeuroPrune: A Neuro-inspired Topological Sparse Training Algorithm for Large Language Models

• arxiv url: http://arxiv.org/abs/2404.01306v2
• Date: Tue, 9 Apr 2024 14:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 19:08:08.998464
• Title: NeuroPrune: A Neuro-inspired Topological Sparse Training Algorithm for Large Language Models
• Title（参考訳）: NeuroPrune: 大規模言語モデルのためのニューロインスパイアされたトポロジカルスパーストレーニングアルゴリズム
• Authors: Amit Dhurandhar, Tejaswini Pedapati, Ronny Luss, Soham Dan, Aurelie Lozano, Payel Das, Georgios Kollias,
• Abstract要約: 自然言語処理(NLP)におけるトランスフォーマーベース言語モデルの普及 しかし、高価なトレーニングや推論は、その適用性に重大な障害となる。 脳神経ネットワークにインスパイアされた我々は、ネットワークトポロジーのレンズを通してスパーシティアプローチを探索する。
• 参考スコア（独自算出の注目度）: 35.10729451729596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based Language Models have become ubiquitous in Natural Language Processing (NLP) due to their impressive performance on various tasks. However, expensive training as well as inference remains a significant impediment to their widespread applicability. While enforcing sparsity at various levels of the model architecture has found promise in addressing scaling and efficiency issues, there remains a disconnect between how sparsity affects network topology. Inspired by brain neuronal networks, we explore sparsity approaches through the lens of network topology. Specifically, we exploit mechanisms seen in biological networks, such as preferential attachment and redundant synapse pruning, and show that principled, model-agnostic sparsity approaches are performant and efficient across diverse NLP tasks, spanning both classification (such as natural language inference) and generation (summarization, machine translation), despite our sole objective not being optimizing performance. NeuroPrune is competitive with (or sometimes superior to) baselines on performance and can be up to $10$x faster in terms of training time for a given level of sparsity, simultaneously exhibiting measurable improvements in inference time in many cases.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは、様々なタスクにおける印象的なパフォーマンスのため、自然言語処理(NLP)においてユビキタスになっている。 しかし、高価なトレーニングや推論は、その適用性に重大な障害となる。 モデルアーキテクチャのさまざまなレベルにおけるスパーシリティの実施は、スケーリングと効率の問題に対処する上で有望なものとなっているが、スパーシリティがネットワークトポロジにどのように影響するかは、いまだに不一致である。 脳神経ネットワークにインスパイアされた我々は、ネットワークトポロジーのレンズを通してスパーシティアプローチを探索する。 具体的には、優先的なアタッチメントや冗長なシナプスプルーニングなどの生物学的ネットワークで見られるメカニズムを活用し、モデル非依存のスパーシリティアプローチは、性能を最適化しない唯一の目的にもかかわらず、分類(自然言語推論など)と生成(要約、機械翻訳など)の両方にまたがって、多様なNLPタスクにまたがって実行され、効率的であることを示す。 NeuroPruneは、パフォーマンスのベースラインと競合する(あるいは、時として優れている)ため、所定の間隔のトレーニング時間において最大10ドル高速になり、同時に多くのケースにおいて推論時間の測定可能な改善を示す。

関連論文リスト

• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models [3.0753589871055107]
  イベントベースニューラルネットワーク(SNN)は自然に活動の疎結合を示し、重みを刈り取ることで接続性を疎結合化するために多くの方法が存在する。 本研究では,重み付けと活動空間の相乗効果が言語モデリングタスクに及ぼす影響について検討する。 この結果から,疎結合なイベントベースニューラルネットワークは効率的かつ効率的なシーケンスモデリングの候補となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T10:33:36Z)
• Sparse Multitask Learning for Efficient Neural Representation of Motor Imagery and Execution [30.186917337606477]
  運動画像(MI)と運動実行(ME)タスクのためのスパースマルチタスク学習フレームワークを提案する。 MI-ME分類のためのデュアルタスクCNNモデルが与えられた場合、過渡的な接続に対して、サリエンシに基づくスペーシフィケーションアプローチを適用する。 以上の結果から, この調整された疎水性は, 過度に適合する問題を緩和し, 少ないデータ量でテスト性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T09:06:16Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.0822643340897273]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• SpikeCLIP: A Contrastive Language-Image Pretrained Spiking Neural Network [39.54624592783459]
  従来のニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が登場した。 本稿ではスパイクベースの計算におけるモダリティギャップを埋める新しいフレームワークであるSpikeCLIPを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:57:17Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• How much complexity does an RNN architecture need to learn syntax-sensitive dependencies? [9.248882589228089]
  長期記憶(LSTM)ネットワークは、長距離依存をカプセル化することができる。 単純なリカレントネットワーク(SRN)は一般的に、長距離依存関係の取得にはあまり成功していない。 本稿では,ニューロン活性化の減衰特性を取り入れた新しいアーキテクチャであるDecay RNNを提案する。
  論文  参考訳（メタデータ） (2020-05-17T09:13:28Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。