論文の概要: Unsupervised Ensemble Selection for Multilayer Bootstrap Networks
- arxiv url: http://arxiv.org/abs/2107.02071v1
- Date: Mon, 5 Jul 2021 15:03:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-06 14:52:39.809481
- Title: Unsupervised Ensemble Selection for Multilayer Bootstrap Networks
- Title（参考訳）: 多層ブートストラップネットワークのための教師なしアンサンブル選択
- Authors: Xiao-Lei Zhang
- Abstract要約: 多層ブートストラップネットワーク(MBN)はそのネットワーク構造に敏感である。
異なるアプリケーションで劇的に異なる可能性のある適切なネットワーク構造をどうやって選択するかは、難しい問題です。
異なるネットワーク構造を持つMBNベースモデルのスパース出力を新しい表現に変換するMBNアンサンブル(MBN-E)アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 8.805048866677518
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilayer bootstrap network (MBN), which is a recent simple unsupervised
deep model, is sensitive to its network structure. How to select a proper
network structure that may be dramatically different in different applications
is a hard issue, given little prior knowledge of data. In this paper, we
explore ensemble learning and selection techniques for determining the optimal
network structure of MBN automatically. Specifically, we first propose an MBN
ensemble (MBN-E) algorithm which concatenates the sparse outputs of a set of
MBN base models with different network structures into a new representation.
Then, we take the new representation as a reference for selecting the optimal
MBN base models. The ensemble selection criteria can be categorized into two
classes. The first kind employs optimization-like selection criteria, under the
assumption that the number of classes of data is known as a prior. The second
kind proposes distribution divergence criteria, when such a prior is
unavailable. Experimental results on several benchmark datasets show that MBN-E
yields good performance that is close to the optimal performance of MBN, while
the ensemble selection techniques for MBN-E can further improve the
performance. More importantly, MBN-E and its ensemble selection techniques
maintain the simple formulation of MBN, and act like off-the-shelf methods that
reach the state-of-the-art performance without manual hyperparameter tuning.
The source code is available at http://www.xiaolei-zhang.net/mbn-e.htm.
- Abstract（参考訳）: 最近の単純な教師なし深層モデルである多層ブートストラップネットワーク(mbn)は、そのネットワーク構造に敏感である。
異なるアプリケーションで劇的に異なる可能性がある適切なネットワーク構造をどうやって選択するかは、データの事前知識がほとんどないため、難しい問題である。
本稿では,MBNの最適ネットワーク構造を自動決定するためのアンサンブル学習と選択手法について検討する。
具体的には、まず、異なるネットワーク構造を持つMBNベースモデルのスパース出力を新しい表現に変換するMBNアンサンブル(MBN-E)アルゴリズムを提案する。
次に、最適なMBNベースモデルを選択するための基準として、新しい表現を用いる。
アンサンブルの選択基準は2つのクラスに分類できる。
第一種は最適化的な選択基準を採用しており、データのクラス数が先行値であることが前提となっている。
第2のタイプは、そのような事前が利用できない場合の分散分散基準を提案する。
いくつかのベンチマークデータセットによる実験結果から,MBN-E は MBN の最適性能に近い性能を示す一方,MBN-E のアンサンブル選択技術は性能をさらに向上させることができることがわかった。
より重要なことに、mbn-eとそのアンサンブル選択技術は、mbnの単純な定式化を維持し、手動のハイパーパラメータチューニングなしで最先端のパフォーマンスに達するオフ・ザ・シェルフ方式のように振る舞う。
ソースコードはhttp://www.xiaolei-zhang.net/mbn-e.htmで入手できる。
関連論文リスト
- Cross Spline Net and a Unified World [41.69175843713757]
クロススプラインネット(CSN)はスプライン変換とクロスネットワークの組み合わせに基づいている。
CSNは、上記の一連の非ニューラルネットワークモデルを同じニューラルネットワークフレームワークの下に配置する統合モデリングフレームワークを提供する。
CSNはパフォーマンスが高く、使いやすく、より複雑で、より解釈しやすく、堅牢であることを示します。
論文 参考訳（メタデータ） (2024-10-24T20:45:48Z) - MOKD: Cross-domain Finetuning for Few-shot Classification via Maximizing Optimized Kernel Dependence [97.93517982908007]
NCCは、ドメイン間数ショットの分類において、少数ショットの分類が可能なメートル法空間を構築するために表現を学ぶことを目的としている。
本稿では,異なるクラスから得られた2つの標本の NCC 学習表現に高い類似性があることを見出した。
ラベル付きデータによって示されるクラスタ構造にマッチするクラス固有の表現の集合を学習するために、最適化されたカーネル依存(MOKD)を最大化する二段階最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T05:59:52Z) - Reinforcement Learning for Node Selection in Branch-and-Bound [52.2648997215667]
現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。
孤立ノードではなく木の状態全体を考慮しながら強化学習(RL)を用いる新しいシミュレーション手法を提案する。
論文 参考訳（メタデータ） (2023-09-29T19:55:56Z) - Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - A Bipartite Graph Neural Network Approach for Scalable Beamforming
Optimization [19.747638780327257]
マルチユーザ・シングルインプット・シングルアウトプット(MU-MISO)システムの最適化のために,Deep Learning(DL)技術が集中的に研究されている。
本稿では,アンテナ,すなわちユーザ数に関して,ビームフォーミングネットワークのためのフレームワークを開発する。
論文 参考訳（メタデータ） (2022-07-12T07:59:21Z) - Gated recurrent units and temporal convolutional network for multilabel
classification [122.84638446560663]
本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。
提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
論文 参考訳（メタデータ） (2021-10-09T00:00:16Z) - Embedded methods for feature selection in neural networks [0.0]
ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。
パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。
PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
論文 参考訳（メタデータ） (2020-10-12T16:33:46Z) - Simultaneous Decision Making for Stochastic Multi-echelon Inventory
Optimization with Deep Neural Networks as Decision Makers [0.7614628596146599]
本稿では、ディープニューラルネットワーク(DNN)を用いて、複雑なマルチエケロンサプライチェーンの在庫決定を最適化するフレームワークを提案する。
本手法は,組立ノードと配電ノードの両方を含む一般的なトポロジを含む,多種多様なサプライチェーンネットワークに適している。
論文 参考訳（メタデータ） (2020-06-10T02:02:52Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。