論文の概要: Predicting the Critical Number of Layers for Hierarchical Support Vector Regression

• arxiv url: http://arxiv.org/abs/2012.11734v1
• Date: Mon, 21 Dec 2020 23:09:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:15:43.096150
• Title: Predicting the Critical Number of Layers for Hierarchical Support Vector Regression
• Title（参考訳）: 階層型支持ベクトル回帰のための臨界層数予測
• Authors: Ryan Mohr, Maria Fonoberova, Zlatko Drma\v{c}, Iva Manojlovi\'c, Igor Mezi\'c
• Abstract要約: HSVRの当初の定式化では、モデルの深さを選択するためのルールは存在しなかった。 データのフーリエ変換または動的モード分解(DMD)スペクトルのいずれかのサポートに基づいて、予測に基づいて、この臨界スケールを優先的に予測する方法を紹介します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical support vector regression (HSVR) models a function from data as a linear combination of SVR models at a range of scales, starting at a coarse scale and moving to finer scales as the hierarchy continues. In the original formulation of HSVR, there were no rules for choosing the depth of the model. In this paper, we observe in a number of models a phase transition in the training error -- the error remains relatively constant as layers are added, until a critical scale is passed, at which point the training error drops close to zero and remains nearly constant for added layers. We introduce a method to predict this critical scale a priori with the prediction based on the support of either a Fourier transform of the data or the Dynamic Mode Decomposition (DMD) spectrum. This allows us to determine the required number of layers prior to training any models.
• Abstract（参考訳）: 階層的サポートベクトル回帰(hsvr)は、データから関数を、粗いスケールから始まり、階層が続くにつれてより細かいスケールに移動する、svrモデルの線形結合としてモデル化する。 HSVRの当初の定式化では、モデルの深さを選択するためのルールはなかった。 本稿では,トレーニングエラーの位相遷移を複数のモデルで観測する -- 臨界スケールが通過するまで,レイヤーの追加に伴って誤差は比較的一定であり,その時点でトレーニングエラーはゼロに近づき,付加されたレイヤに対してほぼ一定である。 本稿では,データのフーリエ変換と動的モード分解(DMD)スペクトルのどちらがサポートされているかに基づいて,この臨界スケールを事前予測する手法を提案する。 これにより、モデルをトレーニングする前に必要なレイヤ数を決定することができます。

関連論文リスト

• A Multi-step Loss Function for Robust Learning of the Dynamics in Model-based Reinforcement Learning [10.940666275830052]
  モデルに基づく強化学習では、ほとんどのアルゴリズムはデータに基づいて学習したダイナミクスの一段階モデルからの軌道のシミュレーションに依存している。 我々は、多段階の目標を用いてワンステップモデルを訓練することでこの問題に対処する。 この新たな損失は、データが騒々しいときに特に有効であることが分かっています。
  論文  参考訳（メタデータ） (2024-02-05T16:13:00Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• A DeepONet multi-fidelity approach for residual learning in reduced order modeling [0.0]
  本稿では,多面的視点とDeepONetsを利用して,縮小順序モデルの精度を高める新しい手法を提案する。 モデル削減を機械学習残差学習と組み合わせて、上記の誤りをニューラルネットワークで学習し、新しい予測のために推論することを提案する。
  論文  参考訳（メタデータ） (2023-02-24T15:15:07Z)
• DeepVARwT: Deep Learning for a VAR Model with Trend [1.9862987223379664]
  本稿では,トレンドと依存構造を最大限に推定するために,ディープラーニング手法を用いた新しい手法を提案する。 この目的のためにLong Short-Term Memory (LSTM) ネットワークが使用される。 シミュレーション研究と実データへの適用について述べる。
  論文  参考訳（メタデータ） (2022-09-21T18:23:03Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Emulating Spatio-Temporal Realizations of Three-Dimensional Isotropic Turbulence via Deep Sequence Learning Models [24.025975236316842]
  最先端のディープラーニング技術を用いて3次元乱流をモデル化するために,データ駆動方式を用いる。 モデルの精度は、統計および物理に基づくメトリクスを用いて評価される。
  論文  参考訳（メタデータ） (2021-12-07T03:33:39Z)
• Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
  非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。 提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
  論文  参考訳（メタデータ） (2020-09-29T15:00:47Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。