論文の概要: Active Tuning

• arxiv url: http://arxiv.org/abs/2010.03958v2
• Date: Wed, 25 Nov 2020 15:01:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 02:09:16.055212
• Title: Active Tuning
• Title（参考訳）: アクティブチューニング
• Authors: Sebastian Otte, Matthias Karlbauer, Martin V. Butz
• Abstract要約: ニューラルネットワーク(RNN)の内部ダイナミクスを高速に最適化するための新しいパラダイムであるActive Tuningを紹介する。 従来のシーケンス間マッピング方式とは対照的に、Active Tuningは入力ストリームからRNNのリカレントニューラルアクティビティを分離する。 いくつかの時系列予測ベンチマークにおいてアクティブチューニングの有効性を示す。
• 参考スコア（独自算出の注目度）: 0.5801044612920815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Active Tuning, a novel paradigm for optimizing the internal dynamics of recurrent neural networks (RNNs) on the fly. In contrast to the conventional sequence-to-sequence mapping scheme, Active Tuning decouples the RNN's recurrent neural activities from the input stream, using the unfolding temporal gradient signal to tune the internal dynamics into the data stream. As a consequence, the model output depends only on its internal hidden dynamics and the closed-loop feedback of its own predictions; its hidden state is continuously adapted by means of the temporal gradient resulting from backpropagating the discrepancy between the signal observations and the model outputs through time. In this way, Active Tuning infers the signal actively but indirectly based on the originally learned temporal patterns, fitting the most plausible hidden state sequence into the observations. We demonstrate the effectiveness of Active Tuning on several time series prediction benchmarks, including multiple super-imposed sine waves, a chaotic double pendulum, and spatiotemporal wave dynamics. Active Tuning consistently improves the robustness, accuracy, and generalization abilities of all evaluated models. Moreover, networks trained for signal prediction and denoising can be successfully applied to a much larger range of noise conditions with the help of Active Tuning. Thus, given a capable time series predictor, Active Tuning enhances its online signal filtering, denoising, and reconstruction abilities without the need for additional training.
• Abstract（参考訳）: 我々は、リカレントニューラルネットワーク(RNN)の内部ダイナミクスを高速に最適化するための新しいパラダイムであるActive Tuningを紹介する。 従来のシーケンス対シーケンスマッピング方式とは対照的に、Active TuningはRNNの繰り返し神経活動を入力ストリームから切り離し、展開する時間勾配信号を使用して内部ダイナミクスをデータストリームにチューニングする。 その結果、モデル出力は、内部隠れダイナミクスと自身の予測の閉ループフィードバックのみに依存し、その隠れ状態は、信号観測とモデル出力との差を時間を通じてバックプロパゲーションすることによって生じる時間勾配によって継続的に適応される。 このようにして、Active Tuningは、最初に学習された時間パターンに基づいて、シグナルを活発に、間接的に推測し、最も確実な隠れ状態列を観測に適合させる。 本稿では,複数の重畳された正弦波,カオス的二重振り子,時空間波動など,時系列予測ベンチマークにおけるアクティブチューニングの有効性を示す。 アクティブチューニングは、すべての評価されたモデルの堅牢性、正確性、一般化能力を一貫して改善する。 さらに、信号予測とノイズ除去のために訓練されたネットワークは、アクティブチューニングの助けを借りて、より広い範囲のノイズ条件に適用することができる。 したがって、有能な時系列予測子を与えられたアクティブチューニングは、追加のトレーニングを必要とせずに、オンライン信号フィルタリング、ノイズ除去、再構成能力を高める。

関連論文リスト

• Finding the DeepDream for Time Series: Activation Maximization for Univariate Time Series [10.388704631887496]
  逐次情報解析に最大活性化を適用する手法であるSequence Dreamingを紹介する。 モデル決定プロセスに最も影響を及ぼす時間的ダイナミクスとパターンを可視化する。
  論文  参考訳（メタデータ） (2024-08-20T08:09:44Z)
• Intensity Profile Projection: A Framework for Continuous-Time Representation Learning for Dynamic Networks [50.2033914945157]
  本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。 このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。 さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T15:38:25Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Predicting the temporal dynamics of turbulent channels through deep learning [0.0]
  最小乱流チャネル流の時間的進化を再現するニューラルネットワークの能力を評価することを目的としている。 長期記憶(LSTM)ネットワークとクープマンベースのフレームワーク(KNF)は、最小チャネルフローモードの時間ダイナミクスを予測するために訓練される。
  論文  参考訳（メタデータ） (2022-03-02T09:31:03Z)
• Robust alignment of cross-session recordings of neural population activity by behaviour via unsupervised domain adaptation [1.2617078020344619]
  本研究では,同じ動物から記録された未確認データから行動関連潜伏動態を推定できるモデルを提案する。 教師なし領域適応と、複数のセッションで訓練された逐次変分オートエンコーダを組み合わせることで、見つからないデータに対して優れた一般化が達成できることを示す。
  論文  参考訳（メタデータ） (2022-02-12T22:17:30Z)
• Deep Impulse Responses: Estimating and Parameterizing Filters with Deep Networks [76.830358429947]
  高雑音および地中設定におけるインパルス応答推定は難しい問題である。 本稿では,ニューラル表現学習の最近の進歩に基づいて,インパルス応答のパラメータ化と推定を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T18:57:23Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Unfolding recurrence by Green's functions for optimized reservoir computing [3.7823923040445995]
  皮質ネットワークは強くリカレントであり、ニューロンは固有の時間的ダイナミクスを持っている。 これにより、ディープフィードフォワードネットワークとは切り離される。 本稿では,フィードフォワードネットワークにリンクする可解リカレントネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-13T09:17:10Z)
• Inferring, Predicting, and Denoising Causal Wave Dynamics [3.9407250051441403]
  DISTANA(Distributed Artificial Neural Network Architecture)は、グラフ畳み込みニューラルネットワークである。 DISTANAは、再帰パターンが観測されるので、データストリームを飾るのに非常に適していることを示す。 安定かつ正確なクローズドループ予測を数百の時間ステップで生成する。
  論文  参考訳（メタデータ） (2020-09-19T08:33:53Z)
• A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion Compensation for Action Recognition in the EPIC-Kitchens Dataset [68.8204255655161]
  行動認識はコンピュータビジョンにおける最上位の研究分野の一つである。 エゴモーション記録シーケンスは重要な関連性を持つようになった。 提案手法は,このエゴモーションやカメラの動きを推定して対処することを目的としている。
  論文  参考訳（メタデータ） (2020-08-26T14:44:45Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。