論文の概要: Autoselection of the Ensemble of Convolutional Neural Networks with
Second-Order Cone Programming
- arxiv url: http://arxiv.org/abs/2302.05950v1
- Date: Sun, 12 Feb 2023 16:18:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 17:39:21.786325
- Title: Autoselection of the Ensemble of Convolutional Neural Networks with
Second-Order Cone Programming
- Title(参考訳): 2次コーンプログラミングによる畳み込みニューラルネットワークのアンサンブルの自動選択
- Authors: Buse \c{C}isil G\"uldo\u{g}u\c{s}, Abdullah Nazhat Abdullah, Muhammad
Ammar Ali, S\"ureyya \"Oz\"o\u{g}\"ur-Aky\"uz
- Abstract要約: 本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを推定する数学的モデルを提案する。
提案手法は, CIFAR-10, CIFAR-100 および MNIST データセットで検証される。
- 参考スコア(独自算出の注目度): 0.8029049649310213
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Ensemble techniques are frequently encountered in machine learning and
engineering problems since the method combines different models and produces an
optimal predictive solution. The ensemble concept can be adapted to deep
learning models to provide robustness and reliability. Due to the growth of the
models in deep learning, using ensemble pruning is highly important to deal
with computational complexity. Hence, this study proposes a mathematical model
which prunes the ensemble of Convolutional Neural Networks (CNN) consisting of
different depths and layers that maximizes accuracy and diversity
simultaneously with a sparse second order conic optimization model. The
proposed model is tested on CIFAR-10, CIFAR-100 and MNIST data sets which gives
promising results while reducing the complexity of models, significantly.
- Abstract(参考訳): エンサンブル技術は、異なるモデルを組み合わせて最適な予測解を生成するため、機械学習や工学的な問題でしばしば発生する。
アンサンブルの概念は、堅牢性と信頼性を提供するためにディープラーニングモデルに適用することができる。
深層学習におけるモデルの成長により、エンサンブルプルーニングの使用は計算複雑性を扱う上で非常に重要である。
そこで本研究では,2次円錐最適化モデルと並行して精度と多様性を最大化する,異なる深さと層からなる畳み込みニューラルネットワーク(CNN)のアンサンブルを推定する数学的モデルを提案する。
提案手法は, CIFAR-10, CIFAR-100, MNISTデータセットで検証され, モデル複雑性を著しく低減し, 有望な結果が得られる。
関連論文リスト
- Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳(メタデータ) (2024-10-06T15:25:39Z) - Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳(メタデータ) (2024-06-14T07:16:18Z) - Learnable & Interpretable Model Combination in Dynamic Systems Modeling [0.0]
我々は、通常、どのモデルが組み合わされるかについて議論し、様々な混合方程式に基づくモデルを表現することができるモデルインターフェースを提案する。
本稿では,2つの組み合わせモデル間の汎用的な接続を,容易に解釈可能な方法で記述できる新しいワイルドカードトポロジーを提案する。
本稿では、2つのモデル間の異なる接続トポロジを学習し、解釈し、比較する。
論文 参考訳(メタデータ) (2024-06-12T11:17:11Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Transfer learning for ensembles: reducing computation time and keeping
the diversity [12.220069569688714]
ある問題でトレーニングされたディープニューラルネットワークを別の問題に転送するには、少量のデータと追加の計算時間しか必要としない。
ディープニューラルネットワークのアンサンブルの転送は、比較的高い計算コストを必要とする。
アンサンブルの伝達学習におけるアプローチは, (a) アンサンブル内の全てのモデルのエンコーダの重みを1つのシフトベクトルでシフトさせることと, (b) 個々のモデルに対して小さな微調整を行うことの2つのステップからなる。
論文 参考訳(メタデータ) (2022-06-27T08:47:42Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳(メタデータ) (2021-08-14T23:49:33Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with
Autotuned Data-Parallel Training for Tabular Data [11.552769149674544]
大規模データセットに対する高性能な予測モデルの開発は難しい課題である。
最近の自動機械学習(AutoML)は、予測モデル開発を自動化するための有望なアプローチとして現れている。
我々は,老化進化(AgE)とニューラルアーキテクチャ空間を探索する並列NAS法を組み合わせたAgEBO-Tabularを開発した。
論文 参考訳(メタデータ) (2020-10-30T16:28:48Z) - Collegial Ensembles [11.64359837358763]
我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。
また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2020-06-13T16:40:26Z) - Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。
アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。
ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文 参考訳(メタデータ) (2020-02-20T10:50:58Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。