論文の概要: Shallow Representation is Deep: Learning Uncertainty-aware and Worst-case Random Feature Dynamics

• arxiv url: http://arxiv.org/abs/2106.13066v1
• Date: Thu, 24 Jun 2021 14:48:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 14:46:39.263269
• Title: Shallow Representation is Deep: Learning Uncertainty-aware and Worst-case Random Feature Dynamics
• Title（参考訳）: 浅い表現は深い:不確実性認識と最悪のランダム特徴ダイナミクスの学習
• Authors: Diego Agudelo-Espa\~na, Yassine Nemmour, Bernhard Sch\"olkopf, Jia-Jie Zhu
• Abstract要約: 本稿では,不確実な系モデルを普遍核ヒルベルト空間における未知あるいは不確実な滑らかな関数とみなす。 パラメータの不確かさのあるランダムな特徴を用いて1段階の動的関数を直接近似することにより、力学系全体を多層ニューラルネットワークとみなす。
• 参考スコア（独自算出の注目度）: 1.1470070927586016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random features is a powerful universal function approximator that inherits the theoretical rigor of kernel methods and can scale up to modern learning tasks. This paper views uncertain system models as unknown or uncertain smooth functions in universal reproducing kernel Hilbert spaces. By directly approximating the one-step dynamics function using random features with uncertain parameters, which are equivalent to a shallow Bayesian neural network, we then view the whole dynamical system as a multi-layer neural network. Exploiting the structure of Hamiltonian dynamics, we show that finding worst-case dynamics realizations using Pontryagin's minimum principle is equivalent to performing the Frank-Wolfe algorithm on the deep net. Various numerical experiments on dynamics learning showcase the capacity of our modeling methodology.
• Abstract（参考訳）: ランダム特徴は、カーネルメソッドの理論的な厳密性を継承し、現代の学習タスクにスケールアップできる強力な普遍関数近似器である。 本稿では、不確実なシステムモデルを普遍再生カーネルヒルベルト空間における未知あるいは不確実な滑らかな関数とみなす。 浅層ベイズ型ニューラルネットワークと等価な不確定なパラメータを持つランダム特徴を用いて、一段階のダイナミクス関数を直接近似することにより、力学系全体を多層ニューラルネットワークと見なす。 ハミルトン力学の構造をエクスプロイトすると、ポントリャーギンの最小原理を用いた最悪の場合のダイナミクスの実現は、ディープネット上でフランク・ウルフアルゴリズムを実行することと等価であることを示す。 動的学習に関する様々な数値実験は、モデリング手法の能力を示している。

関連論文リスト

• Learning minimal representations of stochastic processes with variational autoencoders [52.99137594502433]
  プロセスを記述するのに必要なパラメータの最小セットを決定するために、教師なしの機械学習アプローチを導入する。 我々の手法はプロセスを記述する未知のパラメータの自律的な発見を可能にする。
  論文  参考訳（メタデータ） (2023-07-21T14:25:06Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Discovering dynamical features of Hodgkin-Huxley-type model of physiological neuron using artificial neural network [0.0]
  2つの高速かつ1つの遅い変数を持つHodgkin-Huxley型システムを考える。 これら2つのシステムでは、そのダイナミクスを再現できる人工ニューラルネットワークを作成します。 ビスタブルモデルでは、トレーニング中に見ずに、あるソリューションのブランチでのみトレーニングされたネットワークが、別のネットワークを回復することを意味する。
  論文  参考訳（メタデータ） (2022-03-26T19:04:19Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• Artificial neural network as a universal model of nonlinear dynamical systems [0.0]
  このマップは、重みがモデル化されたシステムをエンコードする人工知能ニューラルネットワークとして構築されている。 ローレンツ系、ロースラー系およびヒンドマール・ロースニューロンを考察する。 誘引子、パワースペクトル、分岐図、リャプノフ指数の視覚像に高い類似性が観察される。
  論文  参考訳（メタデータ） (2021-03-06T16:02:41Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Approximation Bounds for Random Neural Networks and Reservoir Systems [8.143750358586072]
  本研究は、ランダムに生成された内部重みを持つ単層フィードフォワードおよび繰り返しニューラルネットワークに基づく近似について研究する。 特に、ランダムに生成された重みを持つエコー状態ネットワークは、広い種類の力学系を任意に近似することができることを証明している。
  論文  参考訳（メタデータ） (2020-02-14T09:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。