論文の概要: Training cascaded networks for speeded decisions using a temporal-difference loss

• arxiv url: http://arxiv.org/abs/2102.09808v1
• Date: Fri, 19 Feb 2021 08:40:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-22 13:34:36.575038
• Title: Training cascaded networks for speeded decisions using a temporal-difference loss
• Title（参考訳）: 時間差損失を用いた速度決定のための訓練カスケードネットワーク
• Authors: Michael L. Iuzzolino, Michael C. Mozer, Samy Bengio
• Abstract要約: ディープフィードフォワードニューラルネットワークは、順次動作する。 本研究では,各残差ブロックに伝搬遅延を導入し,カスケード化されたResNetを構築する。 スキップ接続を介して送信される情報は遅延を避けるため、アーキテクチャの機能的深さは時間とともに増加する。
• 参考スコア（独自算出の注目度）: 39.79639377894641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although deep feedforward neural networks share some characteristics with the primate visual system, a key distinction is their dynamics. Deep nets typically operate in sequential stages wherein each layer fully completes its computation before processing begins in subsequent layers. In contrast, biological systems have cascaded dynamics: information propagates from neurons at all layers in parallel but transmission is gradual over time. In our work, we construct a cascaded ResNet by introducing a propagation delay into each residual block and updating all layers in parallel in a stateful manner. Because information transmitted through skip connections avoids delays, the functional depth of the architecture increases over time and yields a trade off between processing speed and accuracy. We introduce a temporal-difference (TD) training loss that achieves a strictly superior speed accuracy profile over standard losses. The CascadedTD model has intriguing properties, including: typical instances are classified more rapidly than atypical instances; CascadedTD is more robust to both persistent and transient noise than is a conventional ResNet; and the time-varying output trace of CascadedTD provides a signal that can be used by `meta-cognitive' models for OOD detection and to determine when to terminate processing.
• Abstract（参考訳）: ディープフィードフォワードニューラルネットワークは原始視覚システムといくつかの特徴を共有しているが、重要な区別はそれらのダイナミクスである。 ディープネットは通常、各層が処理を開始する前にその計算を完全に完了するシーケンシャルステージで動作します。 それとは対照的に、生物学的システムにはカスケード力学があり、情報伝達は時間とともに徐々に進行する。 本研究では,各残差ブロックに伝搬遅延を導入し,すべてのレイヤを並列に並列に更新することで,カスケード型ResNetを構築する。 スキップ接続を介して送信される情報は遅延を避けるため、アーキテクチャの機能的深さは時間の経過とともに増加し、処理速度と精度のトレードオフをもたらす。 標準損失よりも厳密に優れた速度精度プロファイルを実現する時間拡散訓練損失(td)を提案する。 典型的なインスタンスは非定型インスタンスよりも高速に分類され、カスケードdtdは従来のリネットよりも永続的および過渡的なノイズに対してより頑健であり、カスケードdtdの時間変化出力トレースはood検出のための「メタ認知」モデルで使用できる信号を提供し、処理を終了するタイミングを決定する。

関連論文リスト

• Learning Delays Through Gradients and Structure: Emergence of Spatiotemporal Patterns in Spiking Neural Networks [0.06752396542927405]
  学習可能なシナプス遅延を2つのアプローチで組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。 後者のアプローチでは、ネットワークは接続を選択してプーンし、スパース接続設定の遅延を最適化する。 本研究では,時間的データ処理のための効率的なSNNモデルを構築するために,遅延学習と動的プルーニングを組み合わせる可能性を示す。
  論文  参考訳（メタデータ） (2024-07-07T11:55:48Z)
• DelGrad: Exact gradients in spiking networks for learning transmission delays and weights [0.9411751957919126]
  スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 最近の研究は、これらの遅延とシナプス重みを学習する大きな利点を示している。 イベントベース方式で, シナプス重みと遅延の両方に関して, 正確な損失勾配を計算するための解析的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-30T00:02:34Z)
• Correlating sparse sensing for large-scale traffic speed estimation: A Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
  本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。 次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-10-21T07:25:57Z)
• Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block [4.081968050250324]
  スパイキングニューラルネットワーク(SNN)は、神経時間情報能力、低処理機能、高い生物学的妥当性を有する。 Neuro-MNIST、CIFAR10-S、DVS128ジェスチャデータセットは、個々のイベントをフレームに集約し、イベントストリーム分類の時間分解能を高める必要がある。 本研究では,NIST電流の時間ステップに個々のイベントを集約し,トレーニングや推論の遅延を低減する処理時間圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T15:14:13Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Neural Network based on Automatic Differentiation Transformation of Numeric Iterate-to-Fixedpoint [1.1897857181479061]
  本研究では,反復固定点演算子を用いて深度を制御できるニューラルネットワークモデルを提案する。 既存のスキップ接続の概念とは対照的に,提案手法では,情報をネットワーク上で上下に流すことができる。 我々は,この機構を長期依存タスクに応用したモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-10-30T20:34:21Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Low-Rank Autoregressive Tensor Completion for Spatiotemporal Traffic Data Imputation [4.9831085918734805]
  データ計算の欠如は長年の研究課題であり、現実世界のインテリジェント交通システムにとって重要な応用である。 テキストの時間変化を新たな正規化項として導入し,低ランク自動回帰テンソル補完(LATC)フレームワークを提案する。 本研究では,複数の実世界の交通データ集合について広範な数値実験を行い,LATCの有効性を実証した。
  論文  参考訳（メタデータ） (2021-04-30T12:00:57Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。