論文の概要: SpikeCLIP: A Contrastive Language-Image Pretrained Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2310.06488v2
• Date: Thu, 12 Oct 2023 03:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 11:33:16.195558
• Title: SpikeCLIP: A Contrastive Language-Image Pretrained Spiking Neural Network
• Title（参考訳）: SpikeCLIP: コントラスト言語による事前訓練型スパイクニューラルネットワーク
• Authors: Tianlong Li, Wenhao Liu, Changze Lv, Jianhan Xu, Cenyuan Zhang, Muling Wu, Xiaoqing Zheng, Xuanjing Huang
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、ビジュアルドメインと言語ドメインの両方でディープニューラルネットワーク(DNN)に匹敵するパフォーマンスを実現する能力を示している。 スパイクベースコンピューティングの文脈における2つのモード間のギャップに対処する新しいフレームワークであるSpikeCLIPを導入する。
• 参考スコア（独自算出の注目度）: 42.800735162575165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) have demonstrated the capability to achieve comparable performance to deep neural networks (DNNs) in both visual and linguistic domains while offering the advantages of improved energy efficiency and adherence to biological plausibility. However, the extension of such single-modality SNNs into the realm of multimodal scenarios remains an unexplored territory. Drawing inspiration from the concept of contrastive language-image pre-training (CLIP), we introduce a novel framework, named SpikeCLIP, to address the gap between two modalities within the context of spike-based computing through a two-step recipe involving ``Alignment Pre-training + Dual-Loss Fine-tuning". Extensive experiments demonstrate that SNNs achieve comparable results to their DNN counterparts while significantly reducing energy consumption across a variety of datasets commonly used for multimodal model evaluation. Furthermore, SpikeCLIP maintains robust performance in image classification tasks that involve class labels not predefined within specific categories.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、視覚領域と言語領域の両方においてディープニューラルネットワーク(DNN)に匹敵する性能を達成する能力を示し、エネルギー効率の改善と生物学的な可視性への固執の利点を提供する。 しかし、そのような単一モダリティSNNをマルチモーダルシナリオの領域に拡張することは、まだ未解決領域である。 対照的な言語イメージ事前学習(CLIP)の概念からインスピレーションを得た新しいフレームワークであるSpikeCLIPを導入し、スパイクベースのコンピューティングの文脈における2つのモード間のギャップを「アライメント事前学習+デュアルロス微調整」を含む2段階のレシピで解決する。 大規模な実験により、SNNはDNNと同等の結果を得る一方で、マルチモーダルモデル評価に一般的に使用される様々なデータセットのエネルギー消費を大幅に削減することを示した。 さらに、SpikeCLIPは、特定のカテゴリ内で事前に定義されていないクラスラベルを含む画像分類タスクにおいて、堅牢なパフォーマンスを維持している。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models [3.0753589871055107]
  イベントベースニューラルネットワーク(SNN)は自然に活動の疎結合を示し、重みを刈り取ることで接続性を疎結合化するために多くの方法が存在する。 本研究では,重み付けと活動空間の相乗効果が言語モデリングタスクに及ぼす影響について検討する。 この結果から,疎結合なイベントベースニューラルネットワークは効率的かつ効率的なシーケンスモデリングの候補となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T10:33:36Z)
• NeuroPrune: A Neuro-inspired Topological Sparse Training Algorithm for Large Language Models [35.10729451729596]
  自然言語処理(NLP)におけるトランスフォーマーベース言語モデルの普及 しかし、高価なトレーニングや推論は、その適用性に重大な障害となる。 脳神経ネットワークにインスパイアされた我々は、ネットワークトポロジーのレンズを通してスパーシティアプローチを探索する。
  論文  参考訳（メタデータ） (2024-02-28T22:21:47Z)
• Artificial-Spiking Hierarchical Networks for Vision-Language Representation Learning [16.902924543372713]
  最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。 本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。 実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-18T10:40:25Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Ensemble plasticity and network adaptability in SNNs [0.726437825413781]
  人工スパイキングニューラルネットワーク(ASNN)は、離散的なイベントベース(スパイク)計算のため、より優れた情報処理効率を約束する。 本研究では,スパイク活動のみを用いたエントロピーとネットワークアクティベーションに基づく新しいアンサンブル学習手法を提案する。 その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化や性能の低下が予想されることがわかった。
  論文  参考訳（メタデータ） (2022-03-11T01:14:51Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。