論文の概要: Wearing a MASK: Compressed Representations of Variable-Length Sequences Using Recurrent Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2010.13975v2
• Date: Sat, 17 Apr 2021 04:20:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 13:01:16.040360
• Title: Wearing a MASK: Compressed Representations of Variable-Length Sequences Using Recurrent Neural Tangent Kernels
• Title（参考訳）: wearing a mask: recurrent neural tangent kernelsを用いた可変長シーケンスの圧縮表現
• Authors: Sina Alemohammad, Hossein Babaei, Randall Balestriero, Matt Y. Cheung, Ahmed Imtiaz Humayun, Daniel LeJeune, Naiming Liu, Lorenzo Luzi, Jasper Tan, Zichao Wang, Richard G. Baraniuk
• Abstract要約: 我々は、RNTK(Recurrent Tangent Kernel)を用いて、カーネルの使用を可変長シーケンスに拡張する。 ReLu を活性化したディープニューラルネットワークは Max-Affine Spline Operator (MASO) であるため、我々は Max-Affine Spline Kernel (MASK) にアプローチする。
• 参考スコア（独自算出の注目度）: 26.996282600624635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High dimensionality poses many challenges to the use of data, from visualization and interpretation, to prediction and storage for historical preservation. Techniques abound to reduce the dimensionality of fixed-length sequences, yet these methods rarely generalize to variable-length sequences. To address this gap, we extend existing methods that rely on the use of kernels to variable-length sequences via use of the Recurrent Neural Tangent Kernel (RNTK). Since a deep neural network with ReLu activation is a Max-Affine Spline Operator (MASO), we dub our approach Max-Affine Spline Kernel (MASK). We demonstrate how MASK can be used to extend principal components analysis (PCA) and t-distributed stochastic neighbor embedding (t-SNE) and apply these new algorithms to separate synthetic time series data sampled from second-order differential equations.
• Abstract（参考訳）: 高次元性は、可視化や解釈から歴史保存のための予測と保存まで、データの使用に多くの課題をもたらす。 固定長列の次元性を減少させるテクニックが多いが、これらの手法が可変長列に一般化することは滅多にない。 このギャップに対処するために,recurrent neural tangent kernel (rntk) を用いて,可変長シーケンスへのカーネルの使用に依存する既存手法を拡張する。 ReLuを活性化したディープニューラルネットワークは、Max-Affine Spline Operator (MASO) であるため、我々のアプローチであるMax-Affine Spline Kernel (MASK) を疑う。 我々は、MASKを用いて主成分分析(PCA)とt分散確率的隣接埋め込み(t-SNE)を拡張し、これらの新しいアルゴリズムを用いて、2階微分方程式からサンプリングされた合成時系列データを分離する方法を実証する。

関連論文リスト

• Dynamic Multi-Network Mining of Tensor Time Series [8.59982222642104]
  時系列の時系列クラスタリングは、データマイニングにおいて重要なタスクである。 動的マルチネットワーク時系列クラスタリング(DMM)を提案する。 本手法はクラスタリング精度の点で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-02-19T02:06:04Z)
• Capturing the Diffusive Behavior of the Multiscale Linear Transport Equations by Asymptotic-Preserving Convolutional DeepONets [31.88833218777623]
  Asymptotic-Preserving Convolutional Deep Operator Networks (APCONs) について紹介する。 本研究では,グローバルな熱カーネルの代わりに複数のローカルな畳み込み演算を用いた畳み込みディープオペレータネットワークを提案する。 我々のAPCON法は, グリッドサイズに依存しないパラメータ数を持ち, 線形輸送問題の拡散挙動を捉えることができる。
  論文  参考訳（メタデータ） (2023-06-28T03:16:45Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• SNEkhorn: Dimension Reduction with Symmetric Entropic Affinities [14.919246099820548]
  エントロピック親和性 (EA) は、一般的な次元性還元 (DR) アルゴリズム t-SNE で用いられる。 EAは本質的に非対称で行ワイドであるが、シンメトリゼーション法(英語版)の後にDRアプローチで使用される。 本研究では,最適な輸送問題としてEAの新たな特徴を明らかにし,効率的に計算できる自然な対称性を実現する。
  論文  参考訳（メタデータ） (2023-05-23T08:08:10Z)
• DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
  動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。 様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T03:06:36Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• Neural Rough Differential Equations for Long Time Series [19.004296236396947]
  我々は粗い経路理論を用いてニューラルCDEの定式化を拡張する。 経路空間に直接埋め込む代わりに、テキスト-署名を通して小さな時間間隔で入力信号を表現します。 これは、テキストトロフ微分方程式(RDE)の解法である。
  論文  参考訳（メタデータ） (2020-09-17T13:43:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Longitudinal Deep Kernel Gaussian Process Regression [16.618767289437905]
  縦型ディープカーネルプロセスレグレッション(L-DKGPR)を導入する。 L-DKGPRは、縦方向のデータから複雑な多レベル相関構造の発見を自動化する。 そこで我々は,L-DKGPRを学習するための効率的なアルゴリズムを,遅延空間誘導点と変分推論を用いて導出した。
  論文  参考訳（メタデータ） (2020-05-24T15:10:48Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。