論文の概要: Least-Squares Linear Dilation-Erosion Regressor Trained using Stochastic
Descent Gradient or the Difference of Convex Methods
- arxiv url: http://arxiv.org/abs/2107.05682v1
- Date: Mon, 12 Jul 2021 18:41:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 14:57:11.054468
- Title: Least-Squares Linear Dilation-Erosion Regressor Trained using Stochastic
Descent Gradient or the Difference of Convex Methods
- Title（参考訳）: 確率的Descence Gradient を用いた最小二乗線形拡張エロージョン回帰法と凸法の違い
- Authors: Angelica Louren\c{c}o Oliveira and Marcos Eduardo Valle
- Abstract要約: 線形拡張・侵食回帰(ell$-DER)と呼ばれる回帰タスクのためのハイブリッド型モルフォロジーニューラルネットワークを提案する。
$ell$-DERモデルは、線形および形態素作用素の合成の凸結合によって与えられる。
- 参考スコア（独自算出の注目度）: 2.055949720959582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a hybrid morphological neural network for regression
tasks called linear dilation-erosion regression ($\ell$-DER). In few words, an
$\ell$-DER model is given by a convex combination of the composition of linear
and elementary morphological operators. As a result, they yield continuous
piecewise linear functions and, thus, are universal approximators. Apart from
introducing the $\ell$-DER models, we present three approaches for training
these models: one based on stochastic descent gradient and two based on the
difference of convex programming problems. Finally, we evaluate the performance
of the $\ell$-DER model using 14 regression tasks. Although the approach based
on SDG revealed faster than the other two, the $\ell$-DER trained using a
disciplined convex-concave programming problem outperformed the others in terms
of the least mean absolute error score.
- Abstract（参考訳）: 本稿では,線形拡張エロージョン回帰("\ell$-der")と呼ばれる回帰タスクのためのハイブリッド形態的ニューラルネットワークを提案する。
少数の言葉で言えば、$\ell$-DER モデルは線型および基本モルフォロジー作用素の合成の凸結合によって与えられる。
結果として、それらは連続的な分数次線型関数となり、従って普遍近似である。
$$\ell$-DERモデルの導入とは別に、これらのモデルをトレーニングするためのアプローチとして、確率的降下勾配に基づくモデルと凸プログラミング問題の違いに基づくモデルを示す。
最後に,14の回帰タスクを用いて$\ell$-DERモデルの性能を評価する。
SDGに基づくアプローチは、他の2つよりも高速であるが、規律付き凸凹型プログラミング問題を用いて訓練された$\ell$-DERは、最小限の絶対誤差スコアで他の2つよりも優れていた。
関連論文リスト
- Analysis of Interpolating Regression Models and the Double Descent
Phenomenon [3.883460584034765]
ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。
得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。
回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
論文 参考訳（メタデータ） (2023-04-17T09:44:33Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。
我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。
また、線形モード接続仮説の欠点についても論じる。
論文 参考訳（メタデータ） (2022-09-11T10:44:27Z) - Nonparametric regression with modified ReLU networks [77.34726150561087]
ネットワーク重み行列を入力ベクトルに乗じる前に,まず関数$alpha$で修正したReLUニューラルネットワークによる回帰推定を考察する。
論文 参考訳（メタデータ） (2022-07-17T21:46:06Z) - Surprises in adversarially-trained linear regression [12.33259114006129]
敵の訓練はこのような例に対して最も効果的なアプローチの1つである。
本稿では,線形回帰問題に対して,凸問題として逆行訓練を定式化できることを述べる。
十分に多くの特徴や十分小さな正規化パラメータに対して、学習されたモデルはトレーニングデータを完全に補間することを示す。
論文 参考訳（メタデータ） (2022-05-25T11:54:42Z) - Learning Sparse Graph with Minimax Concave Penalty under Gaussian Markov
Random Fields [51.07460861448716]
本稿では,データから学ぶための凸解析フレームワークを提案する。
三角凸分解はその上部に対応する変換によって保証されることを示す。
論文 参考訳（メタデータ） (2021-09-17T17:46:12Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳（メタデータ） (2021-06-20T04:28:20Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Maximin Optimization for Binary Regression [24.351803097593887]
二分重の回帰問題は、量子化学習モデルやデジタル通信システムにおいてユビキタスである。
Lagrangran法はまた、非ニューラルネットワーク多層サドルポイント最適化と同様に、クロスエントロピー損失を伴う回帰でもよく機能する。
論文 参考訳（メタデータ） (2020-10-10T19:47:40Z) - Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。
実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文 参考訳（メタデータ） (2020-07-05T18:58:47Z) - The Impact of the Mini-batch Size on the Variance of Gradients in
Stochastic Gradient Descent [28.148743710421932]
ミニバッチ勾配勾配(SGD)アルゴリズムは機械学習モデルのトレーニングに広く用いられている。
線形回帰および2層線形ネットワーク下でのSGDダイナミクスについて検討し,より深い線形ネットワークへの拡張を容易にする。
論文 参考訳（メタデータ） (2020-04-27T20:06:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。