Fugu-MT 論文翻訳(概要): Learning Recurrent Models with Temporally Local Rules

論文の概要: Learning Recurrent Models with Temporally Local Rules

arxiv url: http://arxiv.org/abs/2310.13284v1
Date: Fri, 20 Oct 2023 05:30:30 GMT
ステータス: 処理完了
システム内更新日: 2023-10-24 00:15:05.712312
Title: Learning Recurrent Models with Temporally Local Rules
Title（参考訳）: 時間的局所ルールを用いたリカレントモデル学習
Authors: Azwar Abdulsalam and Joseph G. Makin
Abstract要約: 生成モデルは、単に遷移確率ではなく、現在の状態と過去の状態の結合分布を学習することができることを示す。この原則を取り入れたさまざまなアーキテクチャが、一般的に後方通過を必要とするデータの側面を学習できることを、おもちゃのデータセットで示しています。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fitting generative models to sequential data typically involves two recursive computations through time, one forward and one backward. The latter could be a computation of the loss gradient (as in backpropagation through time), or an inference algorithm (as in the RTS/Kalman smoother). The backward pass in particular is computationally expensive (since it is inherently serial and cannot exploit GPUs), and difficult to map onto biological processes. Work-arounds have been proposed; here we explore a very different one: requiring the generative model to learn the joint distribution over current and previous states, rather than merely the transition probabilities. We show on toy datasets that different architectures employing this principle can learn aspects of the data typically requiring the backward pass.
Abstract（参考訳）: 逐次データへの生成モデルへの適合は通常、時間を通して2つの再帰的な計算を伴う。後者は損失勾配の計算(時間によるバックプロパゲーションのように)や推論アルゴリズム(rts/kalman smootherのように)である。特に後方パスは計算コストが高く(本質的にシリアルでGPUを活用できないため)、生物学的プロセスへのマッピングが困難である。ここでは、生成モデルが、単に遷移確率ではなく、現在の状態と以前の状態のジョイント分布を学習することを要求するという、非常に異なる方法を検討する。この原則を取り入れたさまざまなアーキテクチャが、一般的に後方通過を必要とするデータの側面を学習できることを示します。

関連論文リスト

Streaming Factor Trajectory Learning for Temporal Tensor Decomposition [33.18423605559094]
時相テンソル分解のためのストリーム係数軌道学習を提案する。我々はガウス過程(GP)を用いて因子の軌道をモデル化し、その時間的進化を柔軟に推定する。合成タスクと実世界のアプリケーションの両方において、SFTLの利点を示してきた。
論文参考訳（メタデータ） (2023-10-25T21:58:52Z)
LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
論文参考訳（メタデータ） (2023-10-09T12:36:16Z)
What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
論文参考訳（メタデータ） (2022-11-28T18:59:51Z)
Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。実装のさまざまな方法を示し、さまざまな問題について評価する。
論文参考訳（メタデータ） (2022-10-04T07:21:49Z)
One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。本実験では,提案手法の有効性をベースラインと比較した。
論文参考訳（メタデータ） (2022-07-28T02:01:31Z)
Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。我々の手法は古典的DPベースの推論に広く適用できる。また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文参考訳（メタデータ） (2021-12-07T11:26:41Z)
The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders [16.27499951949733]
生成写像が「強可逆(strongly invertible)」であれば、推論モデルはそれほど複雑ではないことを示す。重要なのは、生成モデルが階層的に可逆である必要はないということです。低次元多様体上にデータを置くと、深層生成モデルの学習が難しくなるという経験的知恵を理論的に支持する。
論文参考訳（メタデータ） (2021-07-09T19:53:29Z)
Time Series Data Imputation: A Survey on Deep Learning Approaches [4.4458738910060775]
時系列データ計算は、様々なカテゴリのメソッドでよく研究されている問題である。ディープラーニングに基づく時系列手法は、RNNのようなモデルの使用によって進歩している。我々は,それらのモデルアーキテクチャ,その長所,短所,短所,および時系列計算手法の開発を示す効果をレビューし,議論する。
論文参考訳（メタデータ） (2020-11-23T11:57:27Z)
Splitting Gaussian Process Regression for Streaming Data [1.2691047660244335]
入力空間を逐次分割し,各領域に局所化ガウス過程を適用するアルゴリズムを提案する。このアルゴリズムは既存の手法よりも時間と空間の複雑さが優れていることが示されており、そのシーケンシャルな性質により、ストリーミングデータに応用できる。我々の知る限りでは、このモデルは線形メモリ複雑性を実現するための最初の局所ガウス過程回帰モデルである。
論文参考訳（メタデータ） (2020-10-06T01:37:13Z)
The data-driven physical-based equations discovery using evolutionary approach [77.34726150561087]
与えられた観測データから数学的方程式を発見するアルゴリズムについて述べる。このアルゴリズムは遺伝的プログラミングとスパース回帰を組み合わせたものである。解析方程式の発見や偏微分方程式(PDE)の発見にも用いられる。
論文参考訳（メタデータ） (2020-04-03T17:21:57Z)
Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。