論文の概要: Deep networks for system identification: a Survey

• arxiv url: http://arxiv.org/abs/2301.12832v1
• Date: Mon, 30 Jan 2023 12:38:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 15:01:31.962224
• Title: Deep networks for system identification: a Survey
• Title（参考訳）: システム同定のための深層ネットワーク:調査
• Authors: Gianluigi Pillonetto, Aleksandr Aravkin, Daniel Gedon, Lennart Ljung, Ant\^onio H. Ribeiro, Thomas B. Sch\"on
• Abstract要約: システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
• 参考スコア（独自算出の注目度）: 56.34005280792013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning is a topic of considerable current interest. The availability of massive data collections and powerful software resources has led to an impressive amount of results in many application areas that reveal essential but hidden properties of the observations. System identification learns mathematical descriptions of dynamic systems from input-output data and can thus benefit from the advances of deep neural networks to enrich the possible range of models to choose from. For this reason, we provide a survey of deep learning from a system identification perspective. We cover a wide spectrum of topics to enable researchers to understand the methods, providing rigorous practical and theoretical insights into the benefits and challenges of using them. The main aim of the identified model is to predict new data from previous observations. This can be achieved with different deep learning based modelling techniques and we discuss architectures commonly adopted in the literature, like feedforward, convolutional, and recurrent networks. Their parameters have to be estimated from past data trying to optimize the prediction performance. For this purpose, we discuss a specific set of first-order optimization tools that is emerged as efficient. The survey then draws connections to the well-studied area of kernel-based methods. They control the data fit by regularization terms that penalize models not in line with prior assumptions. We illustrate how to cast them in deep architectures to obtain deep kernel-based methods. The success of deep learning also resulted in surprising empirical observations, like the counter-intuitive behaviour of models with many parameters. We discuss the role of overparameterized models, including their connection to kernels, as well as implicit regularization mechanisms which affect generalization, specifically the interesting phenomena of benign overfitting ...
• Abstract（参考訳）: ディープラーニングは、現在かなりの関心を集めているトピックです。 大量のデータ収集と強力なソフトウェアリソースが利用可能になったことで、多くのアプリケーション領域において、観測の本質的だが隠された性質が明らかになった。 システム識別は入力出力データから動的システムの数学的記述を学習し、そこから選択できるモデルの範囲を拡大するディープニューラルネットワークの進歩の恩恵を受けることができる。 そこで,本研究では,システム同定の観点からの深層学習に関する調査を行う。 我々は、研究者が方法を理解するための幅広いトピックをカバーし、それらを使用するメリットと課題に対する厳密な実践的かつ理論的洞察を提供する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 これは、異なるディープラーニングベースのモデリング技術で実現可能であり、フィードフォワード、畳み込み、再帰的ネットワークといった文献で広く採用されているアーキテクチャについて議論する。 予測性能を最適化しようとする過去のデータからパラメータを推定する必要がある。 そこで本研究では,効率的な一階最適化ツールのセットについて論じる。 調査はその後、カーネルベースメソッドのよく研究された領域への接続を引き出す。 それらは、事前の仮定と一致しないモデルをペナライズする正規化項によって適合するデータを制御する。 より深いカーネルベースの手法を得るために、それらをディープアーキテクチャにキャストする方法を説明する。 深層学習の成功はまた、多くのパラメータを持つモデルの反直観的行動のような驚くべき経験的観察をもたらした。 我々は、カーネルへの接続を含む過パラメータ化モデルの役割と、一般化に影響を及ぼす暗黙の正則化機構、特に良性過剰適合の興味深い現象について論じる。

関連論文リスト

• Advancing Deep Active Learning & Data Subset Selection: Unifying Principles with Information-Theory Intuitions [3.0539022029583953]
  本論文は,ディープラーニングモデルのラベルとトレーニング効率を向上させることにより,ディープラーニングの実践性を高めることを目的とする。 本稿では,情報理論の原理に基づくデータサブセット選択手法,特にアクティブラーニングとアクティブサンプリングについて検討する。
  論文  参考訳（メタデータ） (2024-01-09T01:41:36Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations [1.9580473532948401]
  この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。 ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。 本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:41Z)
• Rethinking Bayesian Learning for Data Analysis: The Art of Prior and Inference in Sparsity-Aware Modeling [20.296566563098057]
  信号処理と機械学習のためのスパースモデリングは、20年以上にわたって科学研究の焦点となっている。 本稿では,3つの一般的なデータモデリングツールにスパーシティ・プロモーティング・プリエントを組み込むことの最近の進歩を概観する。
  論文  参考訳（メタデータ） (2022-05-28T00:43:52Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Bayesian graph convolutional neural networks via tempered MCMC [0.41998444721319217]
  畳み込みニューラルネットワークのようなディープラーニングモデルは、画像やマルチメディアタスクに長い間適用されてきた。 最近では、グラフで表現できる非構造化データにもっと注意が払われている。 これらのタイプのデータは、健康と医学、ソーシャルネットワーク、および研究データリポジトリでよく見られます。
  論文  参考訳（メタデータ） (2021-04-17T04:03:25Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。