論文の概要: Breaking the Modality Wall: Time-step Mixup for Efficient Spiking Knowledge Transfer from Static to Event Domain
- arxiv url: http://arxiv.org/abs/2511.12150v1
- Date: Sat, 15 Nov 2025 10:31:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:23.64112
- Title: Breaking the Modality Wall: Time-step Mixup for Efficient Spiking Knowledge Transfer from Static to Event Domain
- Title（参考訳）: モダリティの壁を壊す:静的からイベントドメインへの効率的なスパイク知識伝達のための時間-ステップ混合
- Authors: Yuqi Xie, Shuhan Ye, Yi Yu, Chong Wang, Qixin Zhang, Jiazhen Xu, Le Shen, Yuanbin Qian, Jiangbo Qian, Guoqi Li,
- Abstract要約: Time-step Mixup Knowledge Transfer (TMKT)は、確率論的なTime-step Mixup(TSM)戦略を備えたクロスモーダルトレーニングフレームワークである。
TMKTは、RGBとDVSの入力を様々な時間ステップで補間してスムーズなカリキュラムを作成することで、SNNの非同期性を利用する。
TMKTは、よりスムーズな知識伝達を可能にし、トレーニング中のモダリティミスマッチを緩和し、スパイク画像分類タスクにおいて優れたパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 28.746290149091706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of event cameras and spiking neural networks (SNNs) promises energy-efficient visual intelligence, yet scarce event data and the sparsity of DVS outputs hinder effective training. Prior knowledge transfers from RGB to DVS often underperform because the distribution gap between modalities is substantial. In this work, we present Time-step Mixup Knowledge Transfer (TMKT), a cross-modal training framework with a probabilistic Time-step Mixup (TSM) strategy. TSM exploits the asynchronous nature of SNNs by interpolating RGB and DVS inputs at various time steps to produce a smooth curriculum within each sequence, which reduces gradient variance and stabilizes optimization with theoretical analysis. To employ auxiliary supervision from TSM, TMKT introduces two lightweight modality-aware objectives, Modality Aware Guidance (MAG) for per-frame source supervision and Mixup Ratio Perception (MRP) for sequence-level mix ratio estimation, which explicitly align temporal features with the mixing schedule. TMKT enables smoother knowledge transfer, helps mitigate modality mismatch during training, and achieves superior performance in spiking image classification tasks. Extensive experiments across diverse benchmarks and multiple SNN backbones, together with ablations, demonstrate the effectiveness of our method.
- Abstract（参考訳）: イベントカメラとスパイクニューラルネットワーク(SNN)の統合は、エネルギー効率のよいビジュアルインテリジェンスを約束するが、イベントデータが少なく、DVS出力の空間性が効果的なトレーニングを妨げる。
RGBからDVSへの以前の知識伝達は、モダリティ間の分配ギャップがかなり大きいため、しばしば性能が低下する。
本稿では,時間-ステップ混合知識伝達(TMKT)という,確率的時間-ステップ混合(TSM)戦略を備えたクロスモーダルトレーニングフレームワークを提案する。
TSMは、RGBおよびDVS入力を様々な時間ステップで補間してSNNの非同期性を利用して、各シーケンス内の滑らかなカリキュラムを生成する。
TMKTは,TSMからの補助的監視を活用するために,フレーム単位のソース監視のためのModality Aware Guidance (MAG) とシーケンスレベルの混合比推定のためのMixup Ratio Perception (MRP) という,時間的特徴と混合スケジュールを明示的に整合させる2つの軽量なモダリティ対応目標を導入した。
TMKTは、よりスムーズな知識伝達を可能にし、トレーニング中のモダリティミスマッチを緩和し、スパイク画像分類タスクにおいて優れたパフォーマンスを達成する。
多様なベンチマークと複数のSNNバックボーンをまたいだ大規模な実験により,本手法の有効性を実証した。
関連論文リスト
- Time-step Mixup for Efficient Spiking Knowledge Transfer from Appearance to Event Domain [9.691720154439375]
時間ステップ混合知識伝達は、RGBおよびDVS入力を様々な時間ステップで補間することにより、SNNの非同期性を利用する。
提案手法は,よりスムーズな知識伝達を可能にし,トレーニング中のモダリティシフトを緩和し,画像分類タスクにおいて優れた性能を実現する。
論文 参考訳（メタデータ） (2025-09-16T11:02:36Z) - Task-Aware Tuning of Time Constants in Spiking Neural Networks for Multimodal Classification [0.28272661103123253]
スパイキングニューラルネットワーク(SNN)は、ウェアラブルセンシングや時系列分析といった分野において、低消費電力エッジコンピューティングの候補として期待されている。
重要なニューロンパラメータである漏れ時間定数(LTC)は、Leaky Integrateand-Fireニューロンにおける情報の時間的統合を制御している。
本研究では,静的画像,動的画像,生体信号時系列分類に応用した時間適応フィードフォワードSNNにおけるLCCの役割について検討した。
論文 参考訳（メタデータ） (2025-08-23T12:18:39Z) - WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。
WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。
私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
論文 参考訳（メタデータ） (2025-07-23T16:02:06Z) - Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - ATE-SG: Alternate Through the Epochs Stochastic Gradient for Multi-Task Neural Networks [44.99833362998488]
本稿では,ハードパラメータ共有マルチタスクニューラルネットワーク(MTNN)のための新しい代替トレーニング手法を提案する。
提案した代替トレーニング手法では,タスク固有の重みをエポックを通じて交互に更新し,モデルのマルチヘッドアーキテクチャを活用する。
実証実験では、訓練の正規化と計算要求の削減が実証された。
論文 参考訳（メタデータ） (2023-12-26T21:33:03Z) - TiMix: Text-aware Image Mixing for Effective Vision-Language
Pre-training [42.142924806184425]
クロスモーダルなコントラスト学習のための混合データサンプルは、暗黙的にコントラスト損失のレギュレータとして機能する。
TiMixは、既存のメソッドに対してベンチマークした場合、トレーニングデータの量が減り、トレーニング時間が短縮された場合でも、ダウンストリームタスクで同等のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-12-14T12:02:24Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Temporal Contrastive Learning for Spiking Neural Networks [23.963069990569714]
生物学的にインスパイアされたニューラルネットワーク(SNN)は、低エネルギー消費と時間的情報処理能力のためにかなりの注目を集めている。
本稿では、時間領域情報にコントラスト的監督を組み込むことにより、低レイテンシで高性能なSNNを得る新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-23T10:31:46Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳（メタデータ） (2020-09-08T21:55:22Z) - DBS: Dynamic Batch Size For Distributed Deep Neural Network Training [19.766163856388694]
ディープニューラルネットワーク(DNN)の分散学習のための動的バッチサイズ(DBS)戦略を提案する。
具体的には、前のエポックの事実に基づいて各ワーカーのパフォーマンスを第一に評価し、バッチサイズとデータセット分割を動的に調整する。
実験結果から,提案手法はクラスタの性能を十分に活用し,トレーニング時間を短縮し,無関係なタスクによる障害に強いロバスト性を有することを示す。
論文 参考訳（メタデータ） (2020-07-23T07:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。